Comprender Bayes ingenuos

De StatSoft, Inc. (2013), Electronic Statistics Textbook , "Naive Bayes Classifier" :

Para demostrar el concepto de Clasificación Naïve Bayes, considere el ejemplo que se muestra en la ilustración de arriba. Como se indicó, los objetos se pueden clasificar como VERDES o ROJOS. Mi tarea es clasificar los casos nuevos a medida que llegan, es decir, decidir a qué etiqueta de clase pertenecen, en función de los objetos que salen actualmente.

Dado que hay el doble de objetos VERDES que ROJOS, es razonable creer que un nuevo caso (que aún no se ha observado) tiene el doble de probabilidades de tener una membresía VERDE en lugar de ROJO. En el análisis bayesiano, esta creencia se conoce como la probabilidad previa. Las probabilidades previas se basan en la experiencia previa, en este caso el porcentaje de objetos VERDES y ROJOS, y a menudo se utilizan para predecir resultados antes de que sucedan realmente.

Por lo tanto, podemos escribir:

Dado que hay un total de 60 objetos, 40 de los cuales son VERDES y 20 ROJOS, nuestras probabilidades anteriores de pertenencia a la clase son:

Habiendo formulado nuestra probabilidad anterior, ahora estamos listos para clasificar un nuevo objeto (círculo BLANCO). Como los objetos están bien agrupados, es razonable suponer que cuantos más objetos VERDES (o ROJOS) estén cerca de X, es más probable que los nuevos casos pertenezcan a ese color en particular. Para medir esta probabilidad, dibujamos un círculo alrededor de X que abarca un número (para ser elegido a priori) de puntos independientemente de sus etiquetas de clase. Luego calculamos el número de puntos en el círculo que pertenecen a cada etiqueta de clase. De esto calculamos la probabilidad:

De la ilustración anterior, está claro que la probabilidad de X dado VERDE es menor que la probabilidad de X dado ROJO, ya que el círculo abarca 1 objeto VERDE y 3 ROJOS. Así:

Aunque las probabilidades anteriores indican que X puede pertenecer a VERDE (dado que hay el doble de VERDE en comparación con ROJO), la probabilidad indica lo contrario; que la membresía de clase de X es ROJA (dado que hay más objetos ROJOS cerca de X que VERDE) En el análisis bayesiano, la clasificación final se produce combinando ambas fuentes de información, es decir, la anterior y la probabilidad, para formar una probabilidad posterior utilizando la llamada regla de Bayes (llamada así por el reverendo Thomas Bayes 1702-1761).

Finalmente, clasificamos X como ROJO ya que su membresía de clase logra la mayor probabilidad posterior.

Aquí es donde entra en juego la dificultad de mi comprensión matemática.

ingrese la descripción de la imagen aquí

p (Cj | x1, x2, x ..., xd) es la probabilidad posterior de pertenencia a la clase, es decir, la probabilidad de que X pertenezca a Cj, pero ¿por qué escribirlo así?

Cálculo de la probabilidad?

ingrese la descripción de la imagen aquí

¿Probabilidad posterior?

ingrese la descripción de la imagen aquí

Nunca tomé matemáticas, pero mi comprensión de los ingenuos bayes está bien, creo que solo cuando se trata de estos métodos descompuestos me confunde. ¿Alguien podría ayudar a visualizar estos métodos y cómo escribir las matemáticas de una manera comprensible?

machine-learning naive-bayes

— G Gr
fuente

(+1) Admiro la forma realmente cuidadosa y clara en la que planteaste tu pregunta.

— rolando2

@ rolando2: todas las cifras y casi todo el texto de esta pregunta proviene de statsoft.com/textbook/naive-bayes-classifier

— Franck Dernoncourt

Edite esta publicación para atribuir claramente el material de otro lugar, según Cómo hacer referencia al material escrito por otros .

— Scortchi - Restablece a Monica

La atribución adecuada de las cotizaciones directas siempre ha sido un requisito en los sitios de Stack Exchange. De todos modos, la omisión se rectifica fácilmente; Y lo he hecho. No es necesario eliminar su cuenta, por favor reconsidere.

— Scortchi - Restablece a Monica

Respuestas:

Recorreré todo el proceso de Naive Bayes desde cero, ya que no me queda totalmente claro dónde te estás colgando.

$P(class|feature_1, feature_2,..., feature_n$

P (A | B) = \frac{P (B | A) \cdot P (A)}{P (B)}

$P(A|B)=\frac{P(B|A) \cdot P(A)}{P(B)}$

P (c l a s s | f e a t u r e s) = \frac{P (f e a t u r e s | c l a s s) \cdot P (c l a s s)}{P (f e a t u r e s)}

$P(class|features)=\frac{P(features|class) \cdot P(class)}{P(features)}$

$P(features)$ $P(class|features)$ $class$ $P(features)$ $class$

P (c l a s s | f e a t u r e s) \propto P (f e a t u r e s | c l a s s) \cdot P (c l a s s)

$P(class|features) \propto P(features|class) \cdot P(class)$

$P(class)$

$P(features|class)$ $P(feature_1, feature_2, ..., feature_n|class)$

P (f e a t u r e_{1}, f e a t u r e_{2}, . . ., f e a t u r e_{n} | c l a s s) = \prod_{i} P (f e a t u r e_{i} | c l a s s)

$P(feature_1, feature_2, ..., feature_n|class) = \prod_i{P(feature_i|class})$

Datos de ejemplo discretos .

Ejemplo: entrenamiento del clasificador

Para entrenar al clasificador, contamos varios subconjuntos de puntos y los usamos para calcular las probabilidades previas y condicionales.

P (c l a s s = g r e e n) = \frac{40}{60} = 2 / 3 and P (c l a s s = r e d) = \frac{20}{60} = 1 / 3

$P(class=green)=\frac{40}{60} = 2/3 \text{ and } P(class=red)=\frac{20}{60}=1/3$

$feature_1$ $feature_2$

$P(feature_1=A|class=red)$
$P(feature_1=B|class=red)$
$P(feature_1=A|class=green)$
$P(feature_1=B|class=green)$
$P(feature_2=X|class=red)$
$P(feature_2=Y|class=red)$
$P(feature_2=X|class=green)$
$P(feature_2=Y|class=green)$
(en caso de que no sea obvio, se trata de todos los pares posibles de valor de característica y clase)

$P(feature_1=A|class=red)=1$
$P(feature_1=B|class=red)=0$
$P(feature_1=A|class=green)=1/8$
$P(feature_1=B|class=green)=7/8$
$P(feature_2=X|class=red)=3/10$
$P(feature_2=Y|class=red)=7/10$
$P(feature_2=X|class=green)=8/10$
$P(feature_2=Y|class=green)=2/10$

Esas diez probabilidades (las dos anteriores más las ocho condicionales) son nuestro modelo

Clasificando un nuevo ejemplo

$feature_1$ $feature_2$

P (c l a s s = r e d | e x a m p l e) \propto P (c l a s s = r e d) \cdot P (f e a t u r e_{1} = A | c l a s s = r e d) \cdot P (f e a t u r e_{2} = Y | c l a s s = r e d)

$P(class=red|example) \propto P(class=red) \cdot P(feature_1=A|class=red) \cdot P(feature_2=Y|class=red)$

P (c l a s s = r e d | e x a m p l e) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}

$P(class=red|example) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}$

P (c l a s s = g r e e n | e x a m p l e) \propto P (c l a s s = g r e e n) \cdot P (f e a t u r e_{1} = A | c l a s s = g r e e n) \cdot P (f e a t u r e_{2} = Y | c l a s s = g r e e n)

$P(class=green|example) \propto P(class=green) \cdot P(feature_1=A|class=green) \cdot P(feature_2=Y|class=green)$

$2/3 \cdot 0 \cdot 2/10$

Notas

$P(feature=value|class)$ conectando la media y la varianza apropiadas para cada clase. Otras distribuciones pueden ser más apropiadas, dependiendo de los detalles de sus datos, pero un gaussiano sería un buen punto de partida.

No estoy muy familiarizado con el conjunto de datos DARPA, pero harías esencialmente lo mismo. Probablemente terminará calculando algo como P (ataque = VERDADERO | servicio = dedo), P (ataque = falso | servicio = dedo), P (ataque = VERDADERO | servicio = ftp), etc. y luego combínelos en el igual que en el ejemplo Como nota al margen, parte del truco aquí es encontrar buenas características. La IP de origen, por ejemplo, probablemente será muy escasa: es probable que solo tenga uno o dos ejemplos para una IP determinada. Podría hacerlo mucho mejor si geolocaliza la IP y utiliza "Source_in_same_building_as_dest (true / false)" o algo como una característica en su lugar.

Espero que eso ayude más. Si algo necesita aclaración, ¡me encantaría volver a intentarlo!

— Matt Krause
fuente

Seguro. Si está de acuerdo con usted, voy a editar mi respuesta para que haya más espacio (y puedo hacer cosas LaTex).

— Matt Krause el

Expandí las partes de entrenamiento y prueba y las convertí en su propia sección. Los primeros dos párrafos son iguales ...

— Matt Krause

Matt, esto es mucho más claro que cualquier definición de libro de texto de Naive Bayes que encontré. Esta es probablemente la mejor respuesta a cualquier pregunta que haya visto hasta ahora en este sitio web.

— Zhubarb

@Berkan, gracias; es muy amable de su parte (¡aunque también hay muchas otras excelentes respuestas!). Si tiene alguna sugerencia, ¡me encantaría tratar de abordarlas!

— Matt Krause el

+ 1 y stackoverflow.com/questions/10059594/… donde hay una explicación similar

— Drey

$D$ $P(C_j\mid D)$

P (C_{j} ∣ D) = \frac{P (D ∣ C_{j}) P (C_{j})}{P (D)}, j = 1, 2, \dots

$P(C_j\mid D) = \frac{P(D\mid C_j)P(C_j)}{P(D)}, ~ j = 1, 2, \ldots$

j

$j$

P (C_{1} ∣ D)

$P(C_1\mid D)$

P (C_{2} ∣ D), \dots

$P(C_2\mid D), \ldots$

P (C_{j} ∣ D)

$P(C_j\mid D)$

P (D)

$P(D)$

P (D ∣ C_{j}) P (C_{j})

$P(D\mid C_j)P(C_j)$

P (D ∣ C_{j}) P (C_{j})

$P(D\mid C_j)P(C_j)$

P (D)

$P(D)$

C_{j}

$C_j$

P (C_{j} ∣ D)

$P(C_j\mid D)$ $P(D\mid C_j)$

P (C_{j})

$P(C_j)$

P (C_{j} ∣ D) \propto P (D ∣ C_{j}) P (C_{j}) .

$P(C_j\mid D) \propto P(D\mid C_j)P(C_j).$

D

$D$

(x_{1}, x_{2}, \dots, x_{d})

$(x_1, x_2, \ldots, x_d)$

C_{j})

$C_j)$

\begin{aligned} P (D ∣ C_{j}) & = P (x_{1}, x_{2}, \dots, x_{d} ∣ C_{j}) \\ = P (x_{1} ∣ C_{j}) P (x_{2} ∣ C_{j}) \dots P (x_{d} ∣ C_{j}) \\ = \prod_{1 = 1}^{d} P (x_{i} ∣ C_{j}) \end{aligned}

$\begin{align*} P(D\mid C_j) &= P(x_1, x_2, \ldots, x_d\mid C_j)\\ &= P(x_1\mid C_j)P(x_2\mid C_j)\cdots P(x_d\mid C_j)\\ &= \prod_{1=1}^d P(x_i\mid C_j) \end{align*}$

— Dilip Sarwate
fuente

La suposición principal detrás del ingenuo modelo bayes es que cada característica (x_i) es condicionalmente independiente de todas las demás características dadas a la clase. Esta suposición es lo que nos permite escribir la probabilidad como un producto simple (como ha demostrado).

Esto también es lo que ayuda al ingenuo modelo bayes a generalizarse bien en la práctica. Considere la fase de entrenamiento: si no hicimos esta suposición, el aprendizaje implicaría estimar una distribución compleja y de alta dimensión: p (x1, x2, ..., xn, c) en la que todas las características se distribuyen conjuntamente. En cambio, podemos entrenar estimando p (x1, c), p (x2, c), ..., p (xn, c), ya que al conocer el valor c, los valores de todas las otras características son irrelevantes (proporcionan sin información adicional sobre x_i).

No conozco una buena manera de visualizar esto (además de la notación de modelo gráfico estándar), pero para hacerlo más concreto, puede escribir un código para aprender un modelo Bayes ingenuo ( puede obtener algunos datos de ejemplo aquí ). Entrena y prueba. Ahora descarte el supuesto de independencia condicional y modifique el código. Entrena, prueba y compara con el modelo anterior.

— Mella
fuente