Derive P (C | A + B) de las dos reglas de Cox

9

Estoy trabajando a mi manera (autoestudio) a través del libro de ET Jaynes Probability Theory - The Logic of Science

Problema original

El ejercicio 2.1 dice: "¿Es posible encontrar una fórmula general para análoga a [la fórmula ] de las reglas de producto y suma. Si es así, deduzca; si no, explique por qué esto no se puede hacer ". $p(C|A+B)$ $p(A+B|C)=p(A|C)+p(B|C)-p(AB|C)$

Datos

Las reglas con las que tengo que trabajar son:

$p(AB | C) = p(A|C)p(B|AC) = p(B|C)p(A|BC)$ y $p(A|B)+p(\bar{A}|B)=1$

Donde también podemos usar identidades lógicas para manipular proposiciones. Por ejemplo: $A+B=\overline{\bar{A}\bar{B}}$

Asunción de Solubilidad

Creo que debe ser posible porque no introduce ninguna otra regla más adelante y tener una combinación lógica simple de proposiciones que no fuera fácilmente expresable derrotaría la tesis central de Jaynes. Sin embargo, no he podido derivar la regla.

Mi intento

Para evitar confundirme debido al uso de los mismos nombres de variables que los datos, estoy resolviendo el problema como:

Derivar una fórmula para $p(X|Y+Z)$

Introduciendo una tautología para el acondicionamiento

Mi mejor intento para resolverlo hasta ahora ha sido introducir una propuesta que siempre es cierta. Por lo tanto, puedo reescribir como (ya que la verdad es la identidad multiplicativa). $W$ $Y+Z$ $(Y+Z)W$

Entonces, puedo escribir:

$p(X|Y+Z)=p(X|(Y+Z)W)$

Entonces, reescribiendo uno de los dados como la regla de Bayes: , puedo escribir: $p(A|BC)=\frac{p(B|AC)p(A|C)}{p(B|C)}$

$p(X|(Y+Z)W)=\frac{p(Y+Z|XW)p(X|W)}{p(Y+Z|W)}=\frac{p(Y+Z|X)p(X|W)}{p(Y+Z|W)}$

¿Por qué esto no funciona?

El término es fácil de manejar. (Su expansión se menciona en la definición del problema). $p(Y+Z|X)$

Sin embargo, no sé qué hacer con y . No hay una transformación lógica que pueda aplicar para deshacerme de la , ni puedo pensar en ninguna forma de aplicar las reglas dadas para llegar allí. $p(X|W)$ $p(Y+Z|W)$ $W$

Otros lugares que he buscado

Hice una búsqueda en Google, que apareció en esta página del foro . Pero el autor hace lo mismo que intenté sin ver la dificultad que tengo con el condicionamiento resultante en la tautología introducida.

También busqué stats.stackexchange.com para "Jaynes" y también para "Ejercicio 2.1" sin encontrar ningún resultado útil.

— Epónimo
fuente

No creo que esto sea digno de su propia respuesta, pero creo que lo que tienes es correcto, y es lo que Jaynes esperaba que hicieras. Puedes asumir que es Verdadero siempre. Y la siguiente pregunta que hace es sobre el caso más general de , en el que le pide que pruebe la forma más general del Teorema de Bayes. (Esto es años después de que se planteó esta pregunta, pero estaba atrapado en la misma parte. Espero que este comentario ayude a otros)

W

$W$

p (C | (A_{1} + A_{2} + . . . + A_{n}) W)

$p(C|(A_1 + A_2 + ... + A_n)W)$

— William Oliver

3

No estoy seguro de lo que Jaynes considera análogo a pero los estudiantes han usado alegremente uno o más de los siguientes en tareas y exámenes: ¿Crees que alguno de estos es correcto? $P(A\cup B \mid C) = P(A \mid C) + P(B \mid C) - P(AB \mid C)$

\begin{aligned} P (A ∣ B \cup C) & = P (A ∣ B) + P (C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (C) - P (A C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C), \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C) - P (UNA ∣ si C), \\ PAGS (UNA ∣ si \cup C) & = PAGS (UNA si ∣ si \cup C) + PAGS (UNA C ∣ si \cup C) - PAGS (UNA si C ∣ si \cup C) . \end{aligned}

$\begin{align*} P(A\mid B \cup C) &= P(A \mid B) + P(C)\\ P(A\mid B \cup C) &= P(A \mid B) + P(C) - P(AC)\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C),\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C) - P(A \mid BC),\\ P(A\mid B \cup C) &= P(AB \mid B\cup C) + P(AC \mid B \cup C) - P(ABC \mid B\cup C). \end{align*}$

Nota: Cambiando mi comentario (ahora eliminado) en un apéndice a mi respuesta, las reglas permiten las siguientes manipulaciones: La primera presenta acondicionado en un subconjunto de pero no elimina acondicionado en . El segundo también no elimina acondicionado en . Por lo tanto, cualquier manipulación de siempre incluirá términos de la forma , y no puede expresarse en términos de , , , etc. sin incluir las probabilidades condicionadas por $P(AB \mid C) = P(A\mid C)P(B \mid AC); P(A \mid C) = 1 - P(A^c \mid C).$ $C$ $C$ $C$ $P(A\mid B \cup C)$ $P(X\mid B \cup C)$ $P(A\mid B \cup C)$ $P(A \mid B)$ $P(A \mid C)$ $P(A \mid BC)$ $B \cup C$ también.

— Dilip Sarwate
fuente

No me gusta ninguno de ellos. Creo que la última respuesta es técnicamente correcto, pero no elimina el condicionamiento que estoy tratando de eliminar debido a que todos los términos todavía tienen una función de dado .

A

$A$

B \cup C

$B \cup C$

— Eponymous

@Eponymous Pero tenga en cuenta que en la expresión que Jaynes quiere que emule, a saber. , el acondicionamiento permanece en todo momento. Entonces, la pregunta se reduce a lo que Jaynes piensa que es análogo. Mi última "identidad" es una declaración verdadera, y tiene condicionamiento en el mismo evento en ambos lados, al igual que la de Jaynes sí

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

C

$C$

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

— Dilip Sarwate

En el marco de Jaynes siempre debes condicionar algo. está definida para todo . Por lo tanto, el condicionamiento en un solo término es inevitable. Entiendo que el problema es que necesito dividir de alguna manera en cosas que podrían ser más naturales / fáciles de calcular, idealmente eliminando la completo (aunque puede ser inamovible). No veo tu última identidad haciendo eso.

P (X)

$P(X)$

X

$X$

P (A | B \cup C)

$P(A|B \cup C)$

\cup

$\cup$

— Epónimo

@Dilip No creo que haya nada malo con tu respuesta, y creo que hay muchas (especialmente la última parte) que son bastante correctas (+1). En ausencia de un manual de solución (que creo que ni siquiera existe), nunca podemos saber qué estaba pensando Jaynes. Pero yo creo que tienes razón de que la respuesta final debe tener acondicionado todo el camino a través, y lo que parece ser el evento acondicionado natural sería: .

A \cup B

$A \cup B$

2

Para problemas como este, a veces es útil pensar menos sobre las fórmulas y, en su lugar, hacer un dibujo (en este caso, un diagrama de Venn).

ingrese la descripción de la imagen aquí

Ahora mira la imagen e intenta visualizar qué $P(C | A \cup B)$ representa. Si puede sacarlo de la imagen, verá que hay varias formas válidas de escribirlo (dos maneras saltan a mi mente desde el principio). Si todavía está atascado, intente volver a la prueba habitual de la regla de adición general ordinaria para obtener sugerencias.

Recuerde: una probabilidad condicional concentra toda su masa de probabilidad en el evento de condicionamiento (en este caso, ). La idea es centrarse en los lugares donde cruza con ese evento. $A \cup B$ $C$

Por cierto, el código R para la figura es

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

¿Cómo ayuda esto a escribir una fórmula usando solo las reglas de Jaynes? Se supone que debemos usar solo las dos reglas establecidas por el OP.

— Dilip Sarwate

1

@Dilip Creo que la parte más difícil de este problema de Jaynes es que él no declaró explícitamente la fórmula para disparar. Pero el diagrama nos permite ver posibles fórmulas que tienen la posibilidad de ser válidas en Heck, y sí, la que estoy pensando se puede probar solo con el producto y las reglas de suma (de hecho, Jaynes lo hizo en el párrafo inmediatamente proceder al ejercicio original!).

@Jay El problema, como señalé en los comentarios de mi propia respuesta, es que todo en una fórmula para necesariamente debe estar condicionado

P (C ∣ A \cup B)

$P(C \mid A\cup B)$

A \cup B

$A\cup B$ . Por otro lado, como usted dice, el texto de Jaynes prueba la versión condicional del resultado conocido:

P (A \cup B) = P (A) + P (B) - P (A B)

$P(A \cup B) = P(A) + P(B) - P(AB)$ . Es fácil separar el evento condicionado , no así para el evento condicionado .

— Dilip Sarwate

@Dilip sí, no puedo romper el evento de acondicionamiento, estoy contigo.

1

El teorema de Bayes da

pags (C ∣ UNA + si) = \frac{pags (UNA + si ∣ C) pags (C)}{pags (UNA + si)} .

$p(C\mid A+B) = \frac{p(A+B\mid C)\;p(C)}{p(A+B)} \, .$ Ahora, usando las reglas de suma condicional e incondicional, tenemos

p (C ∣ A + B) = \frac{p (A ∣ C) + p (B ∣ C) - p (A B ∣ C)}{p (A) + p (B) - p (A B)} p (C) .

$p(C\mid A+B) = \frac{p(A\mid C)+p(B\mid C)-p(AB\mid C)}{p(A)+p(B)-p(AB)}\;p(C) \, .$ Por supuesto, la pregunta es si esta fórmula sería o no "lo suficientemente análoga" para Jaynes.

— zen
fuente

Como el OP señaló en un comentario, "En el marco de Jaynes siempre debes condicionar algo. P (X) no está definido para todo X. Por lo tanto, el condicionamiento en un solo término es inevitable". Por lo tanto, no puede escribir P (C), P (A), etc.

— Dilip Sarwate

1

No puedes deshacerte de la tautología. Creo que se supone que solo debe agregar la tautología y aplicar la regla del producto y luego la regla de la suma y obtendrá:

pags (C El | (UNA + si) W) = \frac{pags (C UNA El | W) + pags (C si El | W) - pags (UNA si El | W)}{pags (UNA El | W) + pags (si El | W) - pags (UNA si El | W)}

$p(C|(A+B)W) = \frac{p(CA|W)+p(CB|W)-p(AB|W)}{p(A|W)+p(B|W)-p(AB|W)}$

donde todas las probabilidades se expresan como posteriores a la tautología. Creo que este es el equivalente más similar a la regla de suma que puede obtener para este problema, por lo que esa sería la solución.

Tenga en cuenta que si agrega la condición $p(AB|W)=0$ (es decir $A$ y $B$ son mutuamente excluyentes) obtiene la misma expresión que debe probar en el problema 2.2, lo que indicaría que esta solución es probablemente la correcta (por inducción bayesiana;).

— MastermindX
fuente

0

Siguiendo solo las reglas de Cox, tomando $W=X$ Como en el libro de Jaynes, tenemos la solución de MastermindX:

pags (C El | (UNA + si) X) = \frac{pags (C (UNA + si) El | X)}{pags ((UNA + si) El | X)} (regla del producto)

$p(C|(A+B)X) = \dfrac{p(C(A+B)|X)}{p((A+B)|X)} \qquad \text{(product rule)}$

= \frac{pags ((C UNA + C si) El | X)}{pags ((UNA + si) El | X)} (propiedad distributiva de la conjunción)

$= \dfrac{p((CA+CB)|X)}{p((A+B)|X)} \qquad \text{(distributive property of the conjunction)}$

= \frac{pags (C UNA El | X) + pags (C si El | X) - pags (C UNA si El | X)}{pags ((UNA + si) El | X)} (regla de suma en el numerador)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p((A+B)|X)} \qquad \text{(sum rule on numerator)}$

= \frac{pags (C UNA El | X) + pags (C si El | X) - pags (C UNA si El | X)}{pags (UNA El | X) + pags (si El | X) - pags (UNA si El | X)} (regla de suma en demoninator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(sum rule on demoninator)}$

= \frac{pags (UNA El | X) pags (C El | UNA X) + pags (si El | X) pags (C El | si X) - pags (UNA si El | X) pags (C El | UNA si X)}{pags (UNA El | X) + pags (si El | X) - pags (UNA si El | X)} (regla del producto en el numerador)

$= \dfrac{p(A|X)p(C|AX)+p(B|X)p(C|BX)-p(AB|X)p(C|ABX)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(product rule on numerator)}$

La solución para Ex. 2.1 sigue la intención del Capítulo 2 en la regla del producto, que "primero buscamos una regla consistente que relacione la plausibilidad del producto lógico $AB$ a la plausibilidad de $A$ y $B$ por separado "(página 24). Además, para proposiciones mutuamente excluyentes $A$ y $B$ , esto es igual a la ecuación. (2.67) en Ej. 2.2, si tomamos $\{A_{1} = A$ , $A_{2} = B\}$ ; también indicado por MastermindX. Tenga en cuenta que el propio Jaynes no se deshace de la información adicional $X$ en la ecuación (2.67), así que creo que esta es la solución esperada para ambos ejercicios.

— aatr
fuente