¿Existe una interpretación bayesiana para REML?

¿Hay disponible una interpretación bayesiana de REML? Para mi intuición, REML tiene una gran similitud con los llamados procedimientos empíricos de estimación de Bayes , y me pregunto si se ha demostrado algún tipo de equivalencia asintótica (por ejemplo, bajo una clase adecuada de antecedentes). Tanto Bayes empíricos como REML parecen enfoques de estimación 'comprometidos' emprendidos frente a parámetros molestos , por ejemplo.

Principalmente, lo que busco con esta pregunta es la percepción de alto nivel que este tipo de argumentos tienden a producir. Por supuesto, si un argumento de esta naturaleza por alguna razón no puede ser útil para REML, ¡una explicación de por qué esto es así también brindaría una idea bienvenida!

bayesian asymptotics reml

— David C. Norris
fuente

Este artículo parece ser relevante: Foulley J. (1993). Un argumento simple que muestra cómo derivar la probabilidad máxima restringida. J. Dairy Sci. 76, 2320–2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/...

— DJW

Las interpretaciones bayesianas existen solo dentro del marco del análisis bayesiano, para estimadores que se relacionan con una distribución posterior. Por lo tanto, la única forma en que el estimador REML podría recibir una interpretación bayesiana (es decir, una interpretación como un estimador tomado de la parte posterior) es si consideramos que la probabilidad de registro restringida en el análisis REML es el log-posterior en un correspondiente Análisis de Bayes; en este caso, el estimador REML sería un estimador MAP de la teoría bayesiana, con su correspondiente interpretación bayesiana.

$\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Esto nos da:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Este resultado nos permite interpretar el estimador REML como un estimador MAP, por lo que la interpretación bayesiana adecuada del estimador REML es que es el estimador el que maximiza la densidad posterior bajo el anterior anterior .

Después de ilustrar el método para dar una interpretación bayesiana al estimador REML, ahora observamos que hay algunos grandes problemas con este enfoque. Un problema es que lo anterior se forma utilizando el componente de probabilidad de registro , que depende de los datos. Por lo tanto, el "previo" necesario para obtener esta interpretación no es un previo real, en el sentido de ser una función que se puede formar antes de ver los datos. Otro problema es que lo anterior a menudo será incorrecto (es decir, no se integra a uno) y en realidad puede aumentar de peso a medida que los valores de los parámetros se vuelven extremos. (Mostraremos un ejemplo de esto a continuación). $\ell_*(\theta, \nu)$

Con base en estos problemas, se podría argumentar que no existe una interpretación bayesiana razonable para el estimador REML. Alternativamente, se podría argumentar que el estimador REML aún mantiene la interpretación bayesiana anterior, siendo un estimador a posteriori máximo bajo un "previo" que debe coincidir casualmente con los datos observados en la forma especificada, y puede ser extremadamente incorrecto.

Ilustración con datos normales: El ejemplo clásico de estimación REML es para el caso de datos normales donde le interesa la precisión y la media es un parámetro molesto. En este caso tiene la función log-verosimilitud: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

En REML dividimos este log-verosimilitud en los dos componentes:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Obtenemos el estimador REML para el parámetro de precisión maximizando la probabilidad residual, lo que da un estimador imparcial para la varianza:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

En este caso, el estimador REML corresponderá a un estimador MAP para la densidad "anterior":

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Como puede ver, este "previo" en realidad depende de los valores de datos observados, por lo que no puede formarse antes de ver los datos. Además, podemos ver que es claramente un "impropio" anterior que pone cada vez más peso en los valores extremos de y . (En realidad, este prior es bastante loco.) Si por "coincidencia" formaras un prior que correspondiera a este resultado, entonces el estimador REML sería un estimador MAP bajo ese prior, y por lo tanto tendría una interpretación bayesiana como el estimador que maximiza la parte posterior debajo de la anterior. $\theta$ $\nu$

— Ben - Restablece a Monica
fuente

¡Qué respuesta tan inmensamente clara! Siento que entiendo REML mucho mejor como resultado, que en gran medida era mi objetivo principal. Su enfoque al abrir su argumento parece haber sido esencialmente hacer la identificación, luego 'resolver' lo anterior. Luego procedes a demoler ese prior, que me parece una crítica (desde la perspectiva bayesiana) dirigida contra REML. ¡Muy bien hecho!

— David C. Norris

Sí, ese es el método que utilicé. Por analogía, generalmente le damos al MLE una interpretación bayesiana por el mismo método, es decir, al descubrir que el MLE es el MAP bajo un uniforme previo. Entonces, en general, cuando queremos encontrar el análogo bayesiano a un estimador clásico que se forma mediante la maximización de alguna función, simplemente establecemos esa función en la parte posterior y luego resolvemos la anterior. Si esto da un previo sensato, entonces tenemos una buena interpretación bayesiana; Si lo anterior es una locura (como con REML), entonces tenemos un buen argumento de que no hay una buena interpretación bayesiana.

— Ben - Restablece a Monica el