Teorema de Bayes Intuición

22

He estado tratando de desarrollar una comprensión basada en la intuición del teorema de Bayes en términos de la probabilidad anterior , posterior , de probabilidad y marginal . Para eso utilizo la siguiente ecuación: donde representa una hipótesis o creencia y representa datos o evidencia. He entendido el concepto de posterior : es una entidad unificadora que combina la creencia previa y la probabilidad de un evento. Lo que no entiendo es ¿qué significa la probabilidad ? ¿Y por qué es marginal

PAG (si El | UN) = \frac{PAG (UN El | si) PAG (si)}{PAG (UN)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
probabilidad en el denominador?
Después de revisar un par de recursos, encontré esta cita:

La probabilidad es el peso del evento dado por la ocurrencia de ... es la probabilidad posterior del evento , dado que el evento ha ocurrido. $B$ $A$ $P(B|A)$ $B$ $A$

Las 2 declaraciones anteriores me parecen idénticas, solo escritas de diferentes maneras. ¿Alguien puede explicar la diferencia entre los dos?

bayesian likelihood intuition

— Anas Ayubi
fuente

44

Tienes un error tipográfico (o un error).

debe ser la "hipótesis o creencia", y

debe ser la "información o evidencia" en su formulación.

B

$B$

A

$A$

— gung - Restablece a Monica

1

vea mi respuesta en math.stackexchange.com/a/1943255/1505 así es como terminé entendiéndolo intuitivamente

— Lyndon White

27

Aunque hay cuatro componentes enumerados en la ley de Bayes, prefiero pensar en términos de tres componentes conceptuales:

\underset{2}{\underset{⏟}{PAG (si El | UN)}} = \underset{3}{\underset{⏟}{\frac{PAG (UN El | si)}{PAG (UN)}}} \underset{1}{\underset{⏟}{PAG (si)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

Lo anterior es lo que creía sobre antes de haber encontrado una información nueva y relevante (es decir, ). $B$ $A$
Lo posterior es lo que crees (o deberías, si eres racional) sobre después de haber encontrado una información nueva y relevante. $B$
El cociente de la probabilidad dividido por la probabilidad marginal de la nueva pieza de información indexa el contenido informativo de la nueva información para sus creencias sobre . $B$

— gung - Restablece a Monica
fuente

19

Ya hay varias buenas respuestas, pero quizás esto pueda agregar algo nuevo ...

Siempre pienso en la regla de Bayes en términos de las probabilidades de los componentes, que se pueden entender geométricamente en términos de los eventos y como se muestra a continuación. $A$ $B$

Las probabilidades marginales y están dadas por las áreas de los círculos correspondientes. Todos los resultados posibles están representados por , correspondiente al conjunto de eventos " o ". La probabilidad conjunta corresponde al evento " y ". $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

En este marco, las probabilidades condicionales en el teorema de Bayes pueden entenderse como razones de áreas. La probabilidad de dado es la fracción de ocupada por , expresada como $A$ $B$ $B$ $A \cap B$ De manera similar, la probabilidad de quedadaes la fracción deocupada por, es decir,

PAG (UN El | si) = \frac{PAG (UN \cap si)}{PAG (si)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

PAG (si El | UN) = \frac{PAG (UN \cap si)}{PAG (UN)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

El teorema de Bayes es realmente solo una consecuencia matemática de las definiciones anteriores, que se pueden reexpresar como Encuentro esto simétrico forma del teorema de Bayes para que sea mucho más fácil de recordar. Es decir, la identidad se mantiene independientemente de qué o se etiquete como "anterior" frente a "posterior".

PAG (si El | UN) PAG (UN) = PAG (UN \cap si) = PAG (UN El | si) PAG (si)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Otra forma de entender la discusión anterior se da en mi respuesta a esta pregunta , desde un punto de vista más de "hoja de cálculo contable").

— GeoMatt22
fuente

9

@gung tiene una gran respuesta. Añadiría un ejemplo para explicar la "iniciación" en un ejemplo del mundo real.

$H$ $A$ $E$ $B$

Entonces la fórmula es

PAG (H El | mi) = \frac{PAG (mi El | H) PAG (H)}{PAG (mi)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Tenga en cuenta que la misma fórmula se puede escribir como

PAG (H El | mi) \propto PAG (mi El | H) PAG (H)

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— Haitao Du
fuente

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

Tenga en cuenta que la regla de Bayes es

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

Tenga en cuenta la relación

\frac{PAG (si, un)}{PAG (si) PAG (un)} .

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

Curiosamente, el registro de esta relación también está presente en la información mutua:

yo (UN El | si) = \sum_{un, si} {PAG}_{} (un, si) Iniciar sesión \frac{{PAG}_{} (si, un)}{PAG (si) PAG (un)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— usuario0
fuente

0

$P(A,B)$

probabilidad = proporciones de fila posterior = proporciones de columna

El anterior y el marginal se definen de manera análoga, pero se basan en "totales" en lugar de una columna en particular

marginal = proporciones totales de fila anterior = proporciones totales de columna

Me parece que esto me ayuda.

— probabilidadislogica
fuente