umbral de cálculo para el clasificador de riesgo mínimo?

Suponga que dos clases y tienen un atributo tienen distribución y . si tenemos igual para la siguiente matriz de costos: $C_1$ $C_2$ $x$ $\cal{N} (0, 0.5)$ $\cal{N} (1, 0.5)$ $P(C_1)=P(C_2)=0.5$

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix}$

¿Por qué, es el umbral para el clasificador de riesgo mínimo (costo)? $x_0 < 0.5$

Este es mi ejemplo de nota que no entiendo (es decir, ¿cómo se alcanza este umbral?)

Edición 1: creo que para umbrales de razón de probabilidad podemos usar P (C1) / P (C2).

Edición 2: agrego de Duda Book on Pattern un texto sobre el umbral. ingrese la descripción de la imagen aquí

— usuario153695
fuente

Para una matriz de costos

L = [\begin{matrix} 0 & 0.5 \\ 1 & 0 \end{matrix}] \begin{matrix} c_{1} \\ c_{2} \end{matrix} prediction \begin{matrix} c_{1} & c_{2} \end{matrix} truth

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} \begin{matrix} c_1 \\ c_2 \end{matrix} \;\text{prediction} \\ \hspace{-1.9cm} \begin{matrix} c_1 & c_2 \end{matrix} \\ \hspace{-1.9cm}\text{truth}$

la pérdida de predecir la clase cuando la verdad es la clase es , y el costo de predecir la clase cuando la verdad es la clase es . No hay costo para las predicciones correctas, . El riesgo condicional para predecir cualquiera de las clases es entonces $c_1$ $c_2$ $L_{12} = 0.5$ $c_2$ $c_1$ $L_{21} = 1$ $L_{11} = L_{22} = 0$ $R$ $k$

\begin{aligned} R (c_{1} | x) & = L_{11} Pr (c_{1} | x) + L_{12} Pr (c_{2} | x) = L_{12} Pr (c_{2} | x) \\ R (c_{2} | x) & = L_{22} Pr (c_{2} | x) + L_{21} Pr (c_{1} | x) = L_{21} Pr (c_{1} | x) \end{aligned}

$\begin{align} R(c_1|x) &= L_{11} \Pr (c_1|x) + L_{12} \Pr (c_2|x) = L_{12} \Pr (c_2|x) \\ R(c_2|x) &= L_{22} \Pr (c_2|x) + L_{21} \Pr (c_1|x) = L_{21} \Pr (c_1|x) \end{align}$ Para un consulte estas notas en la página 15.

Para minimizar el riesgo / pérdida, predice si el costo del error de hacerlo (es la pérdida de la predicción incorrecta multiplicada por la probabilidad posterior de que la predicción sea incorrecta ) es menor que el costo de predecir erróneamente la alternativa, $c_1$ $L_{12} \Pr (c_2|x)$

\begin{aligned} L_{12} Pr (c_{2} | x) & < L_{21} Pr (c_{1} | x) \\ L_{12} Pr (x | c_{2}) Pr (c_{2}) & < L_{21} Pr (x | c_{1}) Pr (c_{1}) \\ \frac{L_{12} Pr (c_{2})}{L_{21} Pr (c_{1})} & < \frac{Pr (x | c_{1})}{Pr (x | c_{2})} \end{aligned}

$\begin{align} L_{12} \Pr (c_2|x) &< L_{21} \Pr (c_1|x) \\ L_{12} \Pr (x|c_2) \Pr (c_2) &< L_{21} \Pr (x|c_1) \Pr (c_1) \\ \frac{L_{12} \Pr (c_2)}{L_{21} \Pr (c_1)} &< \frac{\Pr (x|c_1)}{ \Pr (x|c_2)} \end{align}$ donde la segunda línea usa la regla de Bayes . Dadas las mismas probabilidades previas obtienes

Pr (c_{2} | x) \propto Pr (x | c_{2}) Pr (c_{2})

$\Pr (c_2|x) \propto \Pr (x|c_2) \Pr (c_2)$

Pr (c_{1}) = Pr (c_{2}) = 0.5

$\Pr (c_1) = \Pr (c_2) = 0.5$

\frac{1}{2} < \frac{Pr (x | c_{1})}{Pr (x | c_{2})}

$\frac{1}{2} < \frac{\Pr (x|c_1)}{ \Pr (x|c_2)}$

por lo tanto, elige clasificar una observación como la razón de probabilidad supera este umbral. Ahora no tengo claro si quería saber el "mejor umbral" en términos de las razones de probabilidad o en términos del atributo . La respuesta cambia según la función de costo. Usando el gaussiano en la desigualdad con y , , $c_1$ $x$ $\sigma_1 = \sigma_2 = \sigma$ $\mu_1 = 0$ $\mu_2 = 1$

\begin{aligned} \frac{1}{2} & < \frac{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}]}{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{2})^{2}]} \\ \log (\frac{1}{2}) & < \log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 0)^{2} - [\log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 1)^{2}] \\ \log (\frac{1}{2}) & < - \frac{x^{2}}{2 σ^{2}} + \frac{x^{2}}{2 σ^{2}} - \frac{2 x}{2 σ^{2}} + \frac{1}{2 σ^{2}} \\ \frac{x}{σ^{2}} & < \frac{1}{2 σ^{2}} - \log (\frac{1}{2}) \\ x & < \frac{1}{2} - \log (\frac{1}{2}) σ^{2} \end{aligned}

$\begin{align} \frac{1}{2} &< \frac{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_1)^2 \right]}{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_2)^2 \right]} \\ \log \left(\frac{1}{2}\right) &< \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-0)^2 - \left[ \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-1)^2 \right] \\ \log \left(\frac{1}{2}\right) &< -\frac{x^2}{2\sigma^2} + \frac{x^2}{2\sigma^2} - \frac{2x}{2\sigma^2} + \frac{1}{2\sigma^2} \\ \frac{x}{\sigma^2} &< \frac{1}{2\sigma^2} - \log \left(\frac{1}{2}\right) \\ x &< \frac{1}{2} - \log \left(\frac{1}{2}\right) \sigma^2 \end{align}$ por lo que un umbral de predicción en términos de

x

$x$ mientras busca solo puede lograrse si las pérdidas de predicciones falsas son las mismas, es decir, porque solo entonces puede tener y obtienes .

L_{12} = L_{21}

$L_{12} = L_{21}$

\log (\frac{L_{12}}{L_{21}}) = \log (1) = 0

$\log \left( \frac{L_{12}}{L_{21}} \right) = \log (1) = 0$

x_{0} < \frac{1}{2}

$x_0 < \frac{1}{2}$

— Andy
fuente

Buena respuesta, pero me confundió! si desea elegir o , ¿cuál es la correcta?

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

— user153695

Entonces, justo en el límite de decisión no se puede saber exactamente si una observación debe estar en la clase uno o dos (porque está exactamente en el límite). Así que la elección sea la observación debería estar en la clase 1 si o depende de usted. Con muestras lo suficientemente grandes, esto debería suceder para muy pocas observaciones, por lo que en el margen importará basura para su resultado.

x_{0} = 0.5

$x_0=0.5$

i

$i$

x_{0} \leq 0.5

$x_0 \leq 0.5$

x_{0} < 0.5

$x_0 < 0.5$

— Andy

todo mi problema que lo recompensó con mi profesor. calculado y no acepta por favor vea mi edición en cuestión, el umbral delgado debería ser .

x_{0} < 0.5

$x_0<0.5$

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

— user153695

quizás 0.5-ln :)

— user153695

@whuber gracias, lo perdí por completo, así que comencé desde un final completamente equivocado.

— Andy