¿Por qué MAP converge a MLE?

En "Aprendizaje automático: una perspectiva probabilística" de Kevin Murphy, capítulo 3.2, el autor demuestra el concepto de aprendizaje bayesiano en un ejemplo llamado "juego de números": después de observar muestras de , queremos escoja una hipótesis que describa mejor la regla que generó las muestras. Por ejemplo, "números pares" o "números primos". $N$ $\{1,...,100\}$ $h$

Las estimaciones de máximo a posteriori y máxima verosimilitud se definen como:

{\hat{h}}_{M A P} = {\arg max}_{h} p (D | h) p (h) = {\arg max}_{h} [\log p (D | h) + \log p (h)],

$\hat h_\mathrm{MAP}={\arg\max}_h\ p(\mathcal{D}|h)p(h)={\arg\max}_h[\log p(\mathcal{D}|h)+\log p(h)],$

{\hat{h}}_{M L E} = {\arg max}_{h} p (D | h) = {\arg max}_{h} \log p (D | h),

$\hat h_\mathrm{MLE}={\arg\max}_h\ p(\mathcal{D}|h)={\arg\max}_h\log p(\mathcal{D}|h),$

donde $p(h)$ representa las probabilidades anteriores de varias hipótesis y la posterior se define como:

p (D | h) = [\frac{1}{| h |}]^{N},

$p(\mathcal{D}|h)=\Bigg[\frac{1}{|h|}\Bigg]^N,$

iff $\mathcal{D}\subset h$ , es decir, qué tan probable es que un muestreo uniforme con reemplazo de la hipótesis $h$ arroje set $\mathcal{D}$ . Intuitivamente significa que el posterior es más alto para las hipótesis "más pequeñas". Por ejemplo, las hipótesis "potencias de 2" explican las observaciones $\{2,4,8,16,64\}$ mejor que los "números pares".

Todo esto está claro. Sin embargo, estoy confundido acerca de la siguiente oración (aunque intuitivamente tiene mucho sentido):

Dado que el término de probabilidad depende exponencialmente de , y el anterior permanece constante, a medida que obtenemos más y más datos, la estimación de MAP converge hacia la estimación de máxima probabilidad. $N$

Es cierto que la probabilidad depende exponencialmente de , sin embargo, el número exponencial está en el intervalo y como , , por lo que la probabilidad debería desaparecer. $N$ $(0,1)$ $N \to \infty$ $x^N \to 0$

¿Por qué MAP converge a MLE en este caso?

— Jan Kukacka
fuente

Esta es una consecuencia del teorema de Bernstein - von Mises: nber.org/WNE/Slides7-31-07/slides_7_bayes.pdf (comience en la diapositiva 9.) También: andrewgelman.com/2017/11/27/asymptotically-we- are-all-muertos .

— jbowman

Gracias por las referencias. Sin embargo, ¿cómo explican este ejemplo contradictorio?

— Jan Kukacka

Relacionados stats.stackexchange.com/questions/200982/...

— Tim

Aquí hay dos problemas, primero, por qué el MAP converge al MLE en general (pero no siempre) y el problema de "probabilidad de fuga".

Para el primer número, nos referimos al teorema de Bernstein-von Mises. La esencia de esto es que, a medida que crece el tamaño de la muestra, la información relativa contenida en el anterior y en los datos cambia a favor de los datos, por lo que el posterior se concentra más en torno a la estimación solo de datos del MLE y el pico en realidad converge al MLE (con la advertencia habitual de que se deben cumplir ciertos supuestos). Consulte la página de Wikipedia para obtener una breve descripción.

Para el segundo problema, esto ocurre porque no ha normalizado la densidad posterior. Por la regla de Bayes:

P (h | D) = \frac{P (D | h) p (h)}{p (D)}

$P(h|D) = {P(D|h)p(h) \over p(D)}$

y, aunque como , como observa, también lo hace . Para un poco más de concreción, si asumimos dos hipótesis y , encontramos la posterior por: $P(D|h) \to 0$ $n \to \infty$ $P(D)$ $h_1$ $h_2$

P (h_{1} | D) = \frac{P (D | h_{1}) p (h_{1})}{P (D | h_{1}) p (h_{1}) + P (D | h_{2}) p (h_{2})}

$P(h_1|D) = {P(D|h_1)p(h_1) \over P(D|h_1)p(h_1) + P(D|h_2)p(h_2)}$

Tanto el numerador como el denominador tienen términos elevados a la potencia , por lo que tanto como , pero debe quedar claro que la normalización requerida soluciona el problema que de lo contrario esto causaría. $N$ $\to 0$ $N \to \infty$

— jbowman
fuente