¿Qué es la "probabilidad máxima restringida" y cuándo debe usarse?

73

He leído en el resumen de este artículo que:

"El procedimiento de máxima verosimilitud (ML) de Hartley aud Rao se modifica adaptando una transformación de Patterson y Thompson que divide la probabilidad de normalizar en dos partes, una libre de los efectos fijos. Maximizar esta parte produce lo que se llama máxima verosimilitud restringida (REML) estimadores ".

También leí en el resumen de este artículo que REML:

"tiene en cuenta la pérdida en grados de libertad resultante de la estimación de efectos fijos".

Lamentablemente no tengo acceso al texto completo de esos documentos (y probablemente no lo entendería si lo hiciera).

Además, ¿cuáles son las ventajas de REML vs. ML? ¿En qué circunstancias se puede preferir REML sobre ML (o viceversa) al ajustar un modelo de efectos mixtos? ¡Por favor, dé una explicación adecuada para alguien con antecedentes en matemáticas de secundaria (o más allá)!

mixed-model maximum-likelihood reml

— Joe King
fuente

ver stats.stackexchange.com/questions/99895/…

62

Según la respuesta del ocram, ML está sesgado para la estimación de los componentes de varianza. Pero observe que el sesgo se hace más pequeño para tamaños de muestra más grandes. Por lo tanto, en respuesta a sus preguntas " ... ¿cuáles son las ventajas de REML vs ML? ¿En qué circunstancias se puede preferir REML sobre ML (o viceversa) cuando se ajusta un modelo de efectos mixtos? ", Para tamaños de muestra pequeños se prefiere REML. Sin embargo, las pruebas de razón de probabilidad para REML requieren exactamente la misma especificación de efectos fijos en ambos modelos. Entonces, para comparar modelos con diferentes efectos fijos (un escenario común) con una prueba LR, se debe usar ML.

REML tiene en cuenta la cantidad de parámetros (efectos fijos) estimados, perdiendo 1 grado de libertad para cada uno. Esto se logra aplicando ML a los residuos de mínimos cuadrados, que son independientes de los efectos fijos.

— Robert Long
fuente

8

De hecho, el estimador REML de un componente de varianza es generalmente (aproximadamente) imparcial, mientras que el estimador ML está sesgado negativamente. Sin embargo, el estimador ML generalmente tiene un error cuadrático medio (MSE) más bajo que el estimador REML. Entonces, si quiere tener razón en promedio, vaya con REML, pero paga por esto con una mayor variabilidad en las estimaciones. Si quiere estar más cerca del valor real en promedio, vaya con ML, pero paga por esto con un sesgo negativo.

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

"ML está sesgado para la estimación de componentes de varianza". ¿Significa la varianza de los efectos aleatorios o también los errores estándar de los coeficientes de efectos fijos?

— skan

54

Aquí hay una respuesta rápida ...

Ejemplo ilustrativo estándar

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

La estimación REML a menudo se usa en el contexto más complicado de modelos mixtos. Cada libro sobre modelos mixtos tiene una sección que explica la estimación REML con más detalles.

Editar

@Joe King: Aquí está uno de mis libros favoritos sobre modelos mixtos que está totalmente disponible en línea. La sección 2.4.2 trata sobre la estimación de componentes de varianza. Disfruta tu lectura :-)

— ocram
fuente

Gracias, esto es útil, aunque no tengo fácil acceso a libros sobre modelos mixtos. ¿Podría relacionar su respuesta con las 2 citas en mi publicación?

— Joe King

Me pregunto cómo un gaussiano multivariante cambia la historia. stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

El método de ML subestima los parámetros de varianza porque supone que los parámetros fijos se conocen sin incertidumbre al estimar los parámetros de varianza.

El método REML utiliza un truco matemático para hacer que las estimaciones de los parámetros de varianza sean independientes de las estimaciones de los efectos fijos. REML funciona obteniendo primero los residuos de regresión para las observaciones modeladas por la porción de efectos fijos del modelo, ignorando en este punto cualquier componente de varianza.

Las estimaciones de ML son imparciales para los efectos fijos pero sesgadas para los efectos aleatorios, mientras que las estimaciones de REML están sesgadas para los efectos fijos e imparciales para los efectos aleatorios.

— skan
fuente