¿Cómo es Naive Bayes un clasificador lineal?

He visto el otro hilo aquí, pero no creo que la respuesta haya satisfecho la pregunta real. Lo que he leído continuamente es que Naive Bayes es un clasificador lineal (por ejemplo, aquí ) (de modo que dibuja un límite de decisión lineal) utilizando la demostración de probabilidades de registro.

Sin embargo, simulé dos nubes gaussianas y ajusté un límite de decisión y obtuve los resultados como tales (biblioteca e1071 en r, usando naiveBayes ()) 1- verde, 0 - rojo

Como podemos ver, el límite de decisión no es lineal. ¿Intenta decir que los parámetros (probabilidades condicionales) son una combinación lineal en el espacio logarítmico en lugar de decir que el clasificador mismo separa los datos linealmente?

classification naive-bayes

— Kevin Pei
fuente

¿Cómo creaste el límite de decisión? Sospecho que tiene que ver con su rutina de ajuste en lugar del límite de decisión real del clasificador. normalmente uno generaría un límite de decisión calculando la decisión en cada punto de su cuadrante.

— seanv507

Eso es lo que hice, tomé los dos rangos de X = [Min (x), Max (x)] e Y = [Min (Y), Max (Y)] con un espacio de 0.1. Luego ajusté todos esos puntos de datos con el clasificador entrenado y encontré puntos tales que las probabilidades de registro estaban entre -0.05 y 0.05

— Kevin Pei

Respuestas:

En general, el clasificador ingenuo de Bayes no es lineal, pero si los factores de probabilidad provienen de familias exponenciales , el clasificador ingenuo de Bayes corresponde a un clasificador lineal en un espacio de características particular. Aquí está cómo ver esto. $p(x_i \mid c)$

Puedes escribir cualquier clasificador ingenuo de Bayes como *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

donde es la función logística . Si es de una familia exponencial, podemos escribirlo como $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

y por lo tanto

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

dónde

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

Tenga en cuenta que esto es similar a la regresión logística , un clasificador lineal, en el espacio de características definido por . Para más de dos clases, de forma análoga obtenemos regresión logística multinomial (o softmax) . $\phi_i$

Si es gaussiano, entonces y deberíamos tener $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

suponiendo que . $p(c = 1) = p(c = 0) = \frac{1}{2}$

* Aquí es cómo derivar este resultado:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— Lucas
fuente

Gracias por la derivación, que ahora entiendo, ¿puede explicar las anotaciones en la ecuación 2 y siguientes? (u, h (x_i), phi (x_i), etc.) ¿Está P (x_i | c) bajo una familia exponencial simplemente tomando el valor del pdf?

— Kevin Pei

Hay diferentes formas de expresar una y la misma distribución. La segunda ecuación es una distribución familiar exponencial en forma canónica. Muchas distribuciones son familias exponenciales (Gaussian, Laplace, Dirichlet, Bernoulli, binomial, solo por nombrar algunas), pero su función de densidad / masa generalmente no se da en forma canónica. Por lo tanto, primero debe reparametrizar la distribución. Esta tabla le indica cómo calcular (parámetros naturales) y (estadísticas suficientes) para varias distribuciones: en.wikipedia.org/wiki/Exponential_family#Table_of_distributions

u

$\mathbf{u}$

ϕ

$\phi$

— Lucas

Observe el punto importante que . ¡Lo que esto significa es que los clasificadores lineales son una combinación lineal de pesos y funciones potencialmente no lineales de las características! Entonces, hasta el punto del póster original, una gráfica de los puntos de datos puede no mostrar que son separables por una línea.

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

— RMurphy

Encuentro esta respuesta engañosa: como se señaló en el comentario anterior, y la respuesta a continuación, la ingenua Bayes de Gauss no es lineal en el espacio de características original, sino en una transformación no lineal de estos. Por lo tanto, no es un clasificador lineal convencional.

— Gael Varoquaux el

¿Por qué es gaussiano, entonces ? Creo que la estadística suficiente para la distribución gaussiana debería ser .

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

— Naomi

Es lineal solo si las matrices de varianza condicional de clase son las mismas para ambas clases. Para ver esto, escriba la relación de los registros posteriores y solo obtendrá una función lineal si las variaciones correspondientes son las mismas. De lo contrario, es cuadrático.

— axk
fuente

Me gustaría agregar un punto adicional: la razón de parte de la confusión se basa en lo que significa realizar la "clasificación Naive Bayes".

Bajo el amplio tema del "Análisis discriminante gaussiano (GDA)" hay varias técnicas: QDA, LDA, GNB y DLDA (DA cuadrática, DA lineal, bayas ingenuas gaussianas, LDA diagonal). [ACTUALIZADO] LDA y DLDA deben ser lineales en el espacio de los predictores dados. (Ver, por ejemplo, Murphy , 4.2, pág. 101 para DA y pág. 82 para NB. Nota: GNB no es necesariamente lineal. NB discreto (que usa una distribución multinomial debajo del capó) es lineal. También puede consultar Duda , Hart & Stork sección 2.6). QDA es cuadrático como lo han señalado otras respuestas (y creo que es lo que está sucediendo en su gráfico, vea a continuación).

Estas técnicas forman una red con un buen conjunto de restricciones en las "matrices de covarianza de clase" : $\Sigma_c$

QDA: arbitrario: arbitrario ftr. cov. matriz por clase $\Sigma_c$
LDA: : cov compartido. matriz (sobre clases) $\Sigma_c = \Sigma$
GNB: : clase sabia diagonal cov. matrices (la suposición de ind. en el modelo matriz de cov. diagonal de la flecha derecha) $\Sigma_c = {diag}_c$ $\rightarrow$
DLDA: : compartido y diagonal cov. matriz $\Sigma_c = diag$

Si bien los documentos para e1071 afirman que está asumiendo independencia condicional de clase (es decir, GNB), sospecho que en realidad está haciendo QDA. Algunas personas combinan "ingenuos Bayes" (haciendo suposiciones de independencia) con "una simple regla de clasificación bayesiana". Todos los métodos GDA se derivan de lo posterior; pero solo GNB y DLDA usan el primero.

Una gran advertencia, no he leído el código fuente e1071 para confirmar lo que está haciendo.

— MrDrFenner
fuente