Análisis discriminante lineal para

Estoy estudiando 'Introducción al aprendizaje estadístico' de James, Witten, Hastie, Tibshirani.

En la página 139 de su libro, comenzaron introduciendo el Teorema de Bayes . no es una constante matemática, pero denota la probabilidad previa. Nada es extraño en esta ecuación. $p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$ $\pi$

El libro afirma que quiere obtener una estimación para que pueda conectar a la ecuación dada anteriormente. Para estimar , se supone que es normal. En la configuración unidimensional, , donde y son la media y la varianza de la clase . Se supone que . (Comencé a confundirme con la última declaración). $f_k(x)$ $f_k(x)$ $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$ $\mu_k$ $\sigma^2_k$ $k$ $\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

Enchufar en , usted tiene esta ecuación bastante desordenado (1): $f_k$ $p_x$

{pags}_{X} (k) = \frac{π_{k} \frac{1}{\sqrt{2 π} σ} Exp (- \frac{1}{2 σ^{2}} (X - μ_{k})^{2})}{\sum_{l = 1}^{K} π_{l} \frac{1}{\sqrt{2 π} σ} Exp (- \frac{1}{2 σ^{2}} (X - μ_{l})^{2})} .

$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$

Una vez más, no hay sorpresas aquí, ya que es solo una sustitución.

El clasificador de Bayes implica asignar una observación a la clase para la cual la ecuación (1) es la más grande. Tomando el registro de la ecuación (1) y la reorganización de los términos, no es difícil demostrar que esto es equivalente a asignar la observación a la clase para la cual el siguiente es el más grande:

δ_{k} (X) = X \cdot \frac{μ_{k}}{σ^{2}} - \frac{μ_{k}^{2}}{2 σ^{2}} + Iniciar sesión (π_{k})

$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$

Pregunta: No entiendo de dónde vino esto y qué significa. Intenté hacer el registro de la ecuación y no se convierte en esto. ¿Estamos tomando la derivada en algún lugar aquí, ya que esta es la observación más grande?

self-study classification

— cgo
fuente

Puede expresar la ecuación (1) hasta una constante de proporcionalidad,

{pags}_{X} (k) \propto π_{k} \frac{1}{\sqrt{2 π} σ} Exp (- \frac{1}{2 σ^{2}} {(X - μ_{k})}^{2})

$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$

entonces si tomas troncos

Iniciar sesión {pags}_{X} (k) \propto Iniciar sesión π_{k} - Iniciar sesión (\sqrt{2 π} σ) - \frac{1}{2 σ^{2}} {(X - μ_{k})}^{2}

$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$

dónde $- \log (\sqrt{2\pi} \sigma)$ nuevamente entra en la constante de proporcionalidad porque no depende de $k$ . Luego expanda el término al cuadrado y estará allí (tenga en cuenta que expandir el paréntesis dará otro término que se desvanecerá en $\propto$ )

— Andy
fuente

Me reí cuando leí tu respuesta. ¿Es así de simple? ¡Brillante! ¿Puedo saber cuál es la cantidad?

δ_{k} (x)

$\delta_k(x)$ significa (en términos simples)? Mi experiencia en estadísticas es pobre, pero puedo seguir las matemáticas.

— cgo

Sí, eso es todo lo que hay que hacer.

δ_{k} (x)

$\delta_k (x)$ se llama la función discriminante lineal. Es solo una forma diferente de escribir la probabilidad posterior de que una observación pertenezca a la clase

k

$k$ dada su característica

x

$x$ . Por lo tanto, elegir la clase con la probabilidad posterior más alta de la regla de Bayes es lo mismo que elegir la clase con el valor más alto para la LDA. Puedes configurar

δ_{k} (x) = δ_{l} (x)

$\delta_k(x) = \delta_l(x)$ para calcular el límite de decisión bayesiano (que proporciona un umbral para cuándo una observación debe clasificarse como

k

$k$ o

l

$l$ )

— Andy