¿Alguien ha resuelto el ejercicio 4.1 de PTLOS?

Esta un ejercicio determinado en Teoría de la Probabilidad: La lógica de la ciencia por Edwin Jaynes, 2003. Hay una solución parcial aquí . He ideado una solución parcial más general y me preguntaba si alguien más la ha resuelto. Esperaré un poco antes de publicar mi respuesta, para darle una oportunidad a los demás.

Bien, supongamos que tenemos hipótesis mutuamente excluyentes y exhaustivas, denotadas por . Además, supongamos que tenemos conjuntos de datos, denotados por D_j \; \; (j = 1, \ dots, m) . La razón de probabilidad para la i-ésima hipótesis viene dada por:$n$$H_i \;\;(i=1,\dots,n)$$m$$D_j \;\;(j=1,\dots,m)$

$$LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})}$$

Tenga en cuenta que estas son probabilidades condicionales. Ahora suponga que dada la hipótesis i-ésima $H_{i}$ los conjuntos de datos $m$ son independientes, entonces tenemos:

$$P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1}$$

Ahora sería bastante conveniente si el denominador también tuviera en cuenta esta situación, de modo que tengamos:

$$P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2}$$

En este caso, la razón de probabilidad se dividirá en un producto de factores más pequeños para cada conjunto de datos, de modo que tenemos:

$$LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})}$$

En este caso, cada conjunto de datos "votará por $H_i$ " o "votará en contra de $H_i$ " independientemente de cualquier otro conjunto de datos.

El ejercicio es para demostrar que si $n>2$ (más de dos hipótesis), no existe una forma no trivial en la que pueda ocurrir esta factorización. Es decir, si supone que la condición 1 y la condición 2 se cumplen, entonces a lo sumo uno de los factores:

$$\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})}$$ es diferente de 1 y, por lo tanto, solo 1 conjunto de datos contribuirá a la razón de probabilidad.

Personalmente, encontré este resultado bastante fascinante, porque básicamente muestra que la prueba de hipótesis múltiples no es más que una serie de pruebas de hipótesis binarias.

La razón por la que aceptamos eq. 4.28 (en el libro, su condición 1) fue que asumimos la probabilidad de que los datos una determinada hipótesis y la información de fondo es independiente, en otras palabras, para cualquier y con :$H_a$$X$D j i ≠ $D_i$$D_j$$i\neq{j}$

$$\begin{equation}P(D_i|D_jH_aX)=P(D_i|H_aX)\quad\quad{\rm (1)}\end{equation}$$ ecation inextensibilidad más allá del caso binario puede discutirse así: Si asumimos que eq .1 para ser verdad, ¿la ecuación 2 también es verdadera?

$$\begin{equation}P(D_i|D_j\overline{H_a}X)\stackrel{?}{=}P(D_i|\overline{H_a}X)\quad\quad{\rm (2)}\end{equation}$$ Primero veamos el lado izquierdo de la ecuación 2, usando la regla de multiplicación:

n { H 1 ... H n } ¯ H a = ∑ b ≠ a H b P ( D i | D

$$\begin{equation}P(D_i|D_j\overline{H_a}X)=\frac{P(D_iD_j\overline{H_a}|X)}{P(D_j\overline{H_a}|X)}\quad\quad{\rm (3)}\end{equation}$$ Dado que las hipótesis se asumen mutuamente excluyentes y exhaustivas, podemos escribir: Entonces eq.3 se convierte en: Para el caso de que solo tengamos dos hipótesis, las sumas se eliminan (dado que solo hay un ), los términos iguales en el nominador y el denominador, ), cancele y eq.2 se demuestra correcto, ya que$n$$\{H_1\dots{H_n}\}$ $$\overline{H_a}=\sum_{b\neq{a}}H_b$$ b≠aP(DjHb|XHb=¯ H a {H1,H2,H3}P(Di|Dj¯ H 1 )P(DjH2|X) $$P(D_i|D_j\overline{H_a}X)=\frac{\sum_{b\neq{a}}P(D_i|D_jH_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}=\frac{\sum_{b\neq{a}}P(D_i|H_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}$$ $b\neq{a}$$P(D_jH_b|X$$H_b=\overline{H_a}$ . Por lo tanto, la ecuación 4.29 puede derivarse de la ecuación 4.28 del libro. Pero cuando tenemos más de dos hipótesis, esto no sucede, por ejemplo, si tenemos tres hipótesis: , la ecuación anterior se convierte en: En otras palabras: La única forma en que esta ecuación puede producir eq.2 es que ambos denominadores son iguales a 1, es decir, ambas fracciones en el los denominadores deben ser iguales a cero. Pero eso es imposible.$\{H_1, H_2, H_3\}$ P(Di|Dj ¯ H 1 X) $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)P(D_jH_2|X)+P(D_i|H_3X)P(D_jH_3|X)}{P(D_jH_2|X)+P(D_jH_3|X)}$$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)}{1+\frac{P(D_jH_3|X)}{P(D_jH_2|X)}}+\frac{P(D_i|H_3X)}{1+\frac{P(D_jH_2|X)}{P(D_jH_3|X)}}$$

Bien, así que en lugar de ir y volver a derivar la ecuación de Saunder (5), la expondré aquí. Las condiciones 1 y 2 implican la siguiente igualdad:

djk=P(Dj|Hk,I

$$\prod_{j=1}^{m}\left(\sum_{k\neq i}h_{k}d_{jk}\right)=\left(\sum_{k\neq i}h_{k}\right)^{m-1}\left(\sum_{k\neq i}h_{k}\prod_{j=1}^{m}d_{jk}\right)$$ donde $$d_{jk}=P(D_{j}|H_{k},I)\;\;\;\;h_{k}=P(H_{k}|I)$$

Ahora podemos especializarnos en el caso (dos conjuntos de datos) tomando y volviendo a . Tenga en cuenta que estos dos conjuntos de datos aún satisfacen las condiciones 1 y 2, por lo que el resultado anterior también se aplica a ellos. Ahora expandiendo en el caso obtenemos:D ( 1 ) 1 ≡ D 1 D ( 1 ) $m=2$$D_{1}^{(1)}\equiv D_{1}$ m = $D_{2}^{(1)}\equiv D_{2}D_{3}\dots D_{m}$$m=2$

$$\left(\sum_{k\neq i}h_{k}d_{1k}\right)\left(\sum_{l\neq i}h_{l}d_{2l}\right)=\left(\sum_{k\neq i}h_{k}\right)\left(\sum_{l\neq i}h_{l}d_{1l}d_{2l}\right)$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1k}d_{2l}=\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1l}d_{2l}$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{2l}(d_{1k}-d_{1l})=0\;\;\;\;\;\;\; (i=1,\dots,n)$$

El término se produce dos veces en la doble suma anteriormente, una vez cuando y , y una vez más cuando y . Esto ocurrirá siempre que . El coeficiente de cada término viene dado por y . Ahora, debido a que existen de estas ecuaciones, en realidad podemos eliminar de estas ecuaciones. Para ilustrar, tome , ahora esto significa que tenemos todas las condiciones excepto donde y . Ahora tomak = a l = b k = b l = a a , b ≠ i d 2 b - d 2 a i i i = 1 a = 1 $(d_{1a}-d_{1b})$$k=a$$l=b$$k=b$$l=a$$a,b\neq i$$d_{2b}$$-d_{2a}$$i$$i$$i=1$$a=1,b=2$$b=1,a=2$$i=3$, y ahora podemos tener estas dos condiciones (tenga en cuenta que esto supone al menos tres hipótesis). Entonces la ecuación puede reescribirse como:

$$\sum_{l>k}h_{k}h_{l}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Ahora, cada uno de los términos debe ser mayor que cero, de lo contrario estamos tratando con la hipótesis , y la respuesta puede reformularse en términos de . Por lo tanto, estos se pueden eliminar del conjunto de condiciones anterior:$h_i$$n_{1}<n$$n_{1}$

$$\sum_{l>k}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Por lo tanto, hay condiciones que deben cumplirse, y cada una de las condiciones implica una de las dos " ": que para o (pero no necesariamente ambos). Ahora tenemos un conjunto de todos los pares únicos para . Si tuviéramos que tomar de estos pares para uno de los , tendríamos todos los números en el conjunto y . Esto se debe a que el primer par tiene elementos, y cada par adicional trae al menos un elemento adicional al conjunto *$\frac{n(n-1)}{2}$$d_{jk}=d_{jl}$$j=1$$j=2$$(k,l)$$d_{jk}=d_{jl}$$n-1$$j$$1,\dots,n$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$2$

Pero tenga en cuenta que debido a que hay condiciones , debemos elegir al menos el número entero más pequeño mayor o igual que para uno de los o . Si entonces el número de términos elegidos es mayor que . Si o entonces debemos elegir exactamente términos. Esto implica que . Solo con dos hipótesis ( ) es donde esto no ocurre. Pero a partir de la última ecuación en el artículo de Saunder, esta condición de igualdad implica:$\frac{n(n-1)}{2}$$\frac{1}{2}\times\frac{n(n-1)}{2}=\frac{n(n-1)}{4}$$j=1$$j=2$$n>4$$n-1$$n=4$$n=3$$n-1$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$n=2$

$$P(D_{j}|\overline{H}_{i})=\frac{\sum_{k\neq i}d_{jk}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}\frac{\sum_{k\neq i}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}=P(D_{j}|H_{i})$$

Por lo tanto, en la razón de probabilidad tenemos:

$$\frac{P(D_{1}^{(1)}|H_{i})}{P(D_{1}^{(1)}|\overline{H}_{i})}=\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}=1 \text{ OR} \frac{P(D_{2}^{(1)}|H_{i})}{P(D_{2}^{(1)}|\overline{H}_{i})}=\frac{P(D_{2}D_{3}\dots,D_{m}|H_{i})}{P(D_{2}D_{3}\dots,D_{m}|\overline{H}_{i})}=1$$

Para completar la prueba, tenga en cuenta que si se cumple la segunda condición, el resultado ya está probado, y solo una relación puede ser diferente de 1. Si se cumple la primera condición, entonces podemos repetir el análisis anterior al volver a etiquetar y . Entonces tendríamos no contribuyendo, o siendo el único contribuyente. Entonces tendríamos un tercer reetiquetado cuando no contribuya, y así sucesivamente. Por lo tanto, solo un conjunto de datos puede contribuir a la razón de probabilidad cuando se cumplen la condición 1 y la condición 2, y hay más de dos hipótesis.$D_{1}^{(2)}\equiv D_{2}$$D_{2}^{(2)}\equiv D_{3}\dots,D_{m}$$D_{1},D_{2}$$D_{2}$$D_{1}D_{2}$

* NOTA: Un par adicional podría no traer nuevos términos, pero esto sería compensado por un par que trajo 2 nuevos términos. por ejemplo, tome como primer [+2], [+1] y [+0], pero el siguiente término debe tener para ambos . Esto agregará dos términos [+2]. Si entonces no necesitamos elegir más, pero para el "otro" debemos elegir los 3 pares que no son . Estos son y, por lo tanto, la igualdad se mantiene, porque todos los números están en el conjunto.$d_{j1}=d_{j2}$$d_{j1}=d_{j3}$$d_{j2}=d_{j3}$$d_{jk}=d_{jl}$$k,l\notin (1,2,3)$$n=4$$j$$(1,2),(2,3),(1,3)$$(1,4),(2,4),(3,4)$$(1,2,3,4)$

Para el registro, aquí hay una prueba algo más extensa . También contiene información de fondo. Tal vez esto sea útil para otros que estudian el tema.

La idea principal de la prueba es mostrar que las condiciones 1 y 2 de Jaynes implican que para todos menos un conjunto de datos . Luego muestra que para todos estos conjuntos de datos, también tenemos Por lo tanto, tenemos para todos menos un conjunto de datos, La razón por la que quería incluir la prueba aquí es que algunos de los pasos involucrados no son del todo obvios, y uno debe tener cuidado de no usar nada más que las condiciones 1 y 2 y la regla del producto (como hacen implícitamente muchas de las otras pruebas). El enlace de arriba

$$P(D_{m_k}|H_iX)=P(D_{m_k}|X),$$ $m_k=1,\ldots,m$ $$P(D_{m_k}|\overline H_iX)=P(D_{m_k}|X).$$ $$\frac{P(D_{m_k}|H_iX)}{P(D_{m_k}|\overline H_iX)} = \frac{P(D_{m_k}|X)}{P(D_{m_k}|X)} = 1.$$ incluye todos estos pasos en detalle. Está en mi Google Drive y me aseguraré de que permanezca accesible.