En términos simples, ¿cómo explicaría (quizás con ejemplos simples) la diferencia entre los modelos de efectos fijos, de efectos aleatorios y de efectos mixtos?

El estadístico Andrew Gelman dice que los términos 'efecto fijo' y 'efecto aleatorio' tienen significados variables dependiendo de quién los use. Quizás pueda elegir cuál de las 5 definiciones se aplica a su caso. En general, puede ser mejor buscar ecuaciones que describan el modelo de probabilidad que usan los autores (al leer) o escribir el modelo de probabilidad completo que desea usar (al escribir).

Aquí describimos cinco definiciones que hemos visto:

1. Los efectos fijos son constantes entre los individuos, y los efectos aleatorios varían. Por ejemplo, en un estudio de crecimiento, un modelo con intersecciones aleatorias y pendiente fija corresponde a líneas paralelas para diferentes individuos , o el modelo . Kreft y De Leeuw (1998) distinguen así entre coeficientes fijos y aleatorios. b i y i t = a i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Los efectos son fijos si son interesantes en sí mismos o aleatorios si hay interés en la población subyacente. Searle, Casella y McCulloch (1992, Sección 1.4) exploran esta distinción en profundidad.

3. “Cuando una muestra agota a la población, la variable correspondiente es fija; cuando la muestra es una parte pequeña (es decir, insignificante) de la población, la variable correspondiente es aleatoria ". (Green y Tukey, 1960)

4. "Si se supone que un efecto es un valor realizado de una variable aleatoria, se denomina efecto aleatorio" (LaMotte, 1983)

5. Los efectos fijos se estiman utilizando mínimos cuadrados (o, más generalmente, la máxima probabilidad) y los efectos aleatorios se estiman con contracción ("predicción lineal imparcial" en la terminología de Robinson, 1991). Esta definición es estándar en la literatura de modelado multinivel (ver, por ejemplo, Snijders y Bosker, 1999, Sección 4.2) y en econometría.

[ Gelman, 2004, Análisis de varianza, por qué es más importante que nunca. Los Anales de Estadísticas. ]

Hay buenos libros sobre esto, como Gelman y Hill . Lo que sigue es esencialmente un resumen de su perspectiva.

En primer lugar, no debe quedar demasiado atrapado en la terminología. En estadística, la jerga nunca debe usarse como un sustituto de una comprensión matemática de los modelos mismos. Eso es especialmente cierto para los modelos de efectos aleatorios y mixtos. "Mixto" solo significa que el modelo tiene efectos fijos y aleatorios, así que centrémonos en la diferencia entre fijo y aleatorio.

Efectos aleatorios versus efectos fijos

Digamos que tiene un modelo con un predictor categórico, que divide sus observaciones en grupos de acuerdo con los valores de la categoría. * Los coeficientes del modelo, o "efectos", asociados a ese predictor pueden ser fijos o aleatorios. La diferencia práctica más importante entre los dos es esta:

Los efectos aleatorios se estiman con agrupación parcial, mientras que los efectos fijos no.

La agrupación parcial significa que, si tiene pocos puntos de datos en un grupo, la estimación del efecto del grupo se basará parcialmente en los datos más abundantes de otros grupos. Esto puede ser un buen compromiso entre estimar un efecto al agrupar completamente todos los grupos, lo que enmascara la variación a nivel de grupo, y estimar un efecto para todos los grupos completamente por separado, lo que podría dar estimaciones pobres para grupos de muestra baja.

Los efectos aleatorios son simplemente la extensión de la técnica de agrupamiento parcial como modelo estadístico de propósito general. Esto permite la aplicación de principios de la idea a una amplia variedad de situaciones, incluidos múltiples predictores, variables mixtas continuas y categóricas, y estructuras de correlación complejas. (Pero con un gran poder viene una gran responsabilidad: la complejidad del modelado y la inferencia se incrementa sustancialmente, y puede dar lugar a sesgos sutiles que requieren una sofisticación considerable para evitar).

Para motivar el modelo de efectos aleatorios, pregúntese: ¿por qué agruparía parcialmente? Probablemente porque crees que los pequeños subgrupos son parte de un grupo más grande con un efecto medio común. Las medias del subgrupo pueden desviarse un poco de la media del grupo grande, pero no en una cantidad arbitraria. Para formalizar esa idea, postulamos que las desviaciones siguen una distribución, típicamente gaussiana. Ahí es donde entra lo "aleatorio" en los efectos aleatorios: estamos asumiendo que las desviaciones de los subgrupos de un padre siguen la distribución de una variable aleatoria. Una vez que tenga esta idea en mente, las ecuaciones del modelo de efectos mixtos siguen naturalmente.

$\ell_2$

Desafortunadamente, la confusión de conceptos causada por estos términos ha llevado a una profusión de definiciones conflictivas . De las cinco definiciones en este enlace, solo el n. ° 4 es completamente correcto en el caso general, pero tampoco es completamente informativo. Debe leer artículos y libros completos (o, en su defecto, esta publicación) para comprender qué implica esa definición en el trabajo práctico.

Ejemplo

Veamos un caso en el que el modelado de efectos aleatorios podría ser útil. Suponga que desea estimar el ingreso promedio de los hogares de EE. UU. Por código postal. Tiene un gran conjunto de datos que contiene observaciones de los ingresos y códigos postales de los hogares. Algunos códigos postales están bien representados en el conjunto de datos, pero otros tienen solo un par de hogares.

Para su modelo inicial, lo más probable es que tome el ingreso promedio en cada ZIP. Esto funcionará bien cuando tenga muchos datos para un ZIP, pero las estimaciones para sus ZIP mal muestreados sufrirán una gran variación. Puede mitigar esto mediante el uso de un estimador de contracción (también conocido como agrupación parcial), que empujará los valores extremos hacia el ingreso promedio en todos los códigos postales.

Pero, ¿cuánta contracción / agrupación debe hacer para un ZIP en particular? Intuitivamente, debe depender de lo siguiente:

1. Cuantas observaciones tienes en ese ZIP
2. Cuantas observaciones tienes en general
3. La media a nivel individual y la varianza del ingreso familiar en todos los códigos postales
4. La variación a nivel de grupo en el ingreso familiar promedio en todos los códigos postales

Si modela el código postal como un efecto aleatorio, la estimación del ingreso promedio en todos los códigos postales estará sujeta a una contracción estadísticamente bien fundada, teniendo en cuenta todos los factores anteriores.

La mejor parte es que los modelos de efectos aleatorios y mixtos manejan automáticamente (4), la estimación de variabilidad, para todos los efectos aleatorios en el modelo. Esto es más difícil de lo que parece a primera vista: podría probar la varianza de la media muestral para cada ZIP, pero esta será sesgada, porque parte de la varianza entre las estimaciones para diferentes ZIPs es solo una muestra de varianza. En un modelo de efectos aleatorios, el proceso de inferencia toma en cuenta la varianza de muestreo y reduce la estimación de varianza en consecuencia.

Habiendo contabilizado (1) - (4), un modelo de efectos aleatorios / mixtos es capaz de determinar la contracción apropiada para grupos de muestra baja. También puede manejar modelos mucho más complicados con muchos predictores diferentes.

Relación con el modelado bayesiano jerárquico

Si esto le parece un modelo bayesiano jerárquico, tiene razón: es un pariente cercano pero no idéntico. Los modelos de efectos mixtos son jerárquicos en el sentido de que presentan distribuciones para parámetros latentes y no observados, pero generalmente no son completamente bayesianos porque los hiperparámetros de nivel superior no recibirán los antecedentes adecuados. Por ejemplo, en el ejemplo anterior, lo más probable es que tratemos el ingreso medio en un ZIP determinado como una muestra de una distribución normal, con una media y sigma desconocidas que se estimarán mediante el proceso de ajuste de efectos mixtos. Sin embargo, un modelo de efectos mixtos (no bayesianos) generalmente no tendrá un previo sobre la media y sigma desconocidas, por lo que no es completamente bayesiano. Dicho esto, con un conjunto de datos de tamaño decente, el modelo de efectos mixtos estándar y la variante completamente bayesiana a menudo darán resultados muy similares.

* Si bien muchos tratamientos de este tema se centran en una definición estrecha de "grupo", el concepto es de hecho muy flexible: es solo un conjunto de observaciones que comparten una propiedad común. Un grupo podría estar compuesto por múltiples observaciones de una sola persona, o varias personas en una escuela, o varias escuelas en un distrito, o múltiples variedades de un solo tipo de fruta, o múltiples tipos de vegetales de la misma cosecha, o múltiples cosechas. del mismo tipo de verdura, etc. Cualquier variable categórica se puede utilizar como una variable de agrupación.

He escrito sobre esto en un capítulo de libro sobre modelos mixtos (capítulo 13 en Fox, Negrete-Yankelevich y Sosa 2014 ); las páginas relevantes (pp. 311-315) están disponibles en Google Books . Creo que la pregunta se reduce a "¿cuáles son las definiciones de efectos fijos y aleatorios?" (un "modelo mixto" es solo un modelo que contiene ambos). Mi discusión dice un poco menos sobre su definición formal (para lo cual me referiría al documento de Gelman vinculado por la respuesta de @ JohnSalvatier anterior) y más sobre sus propiedades prácticas y utilidad. Aquí hay algunos extractos:

La visión tradicional de los efectos aleatorios es una forma de hacer pruebas estadísticas correctas cuando algunas observaciones están correlacionadas.

También podemos pensar en los efectos aleatorios como una forma de combinar información de diferentes niveles dentro de una variable de agrupación.

Los efectos aleatorios son especialmente útiles cuando tenemos (1) muchos niveles (por ejemplo, muchas especies o bloques), (2) relativamente pocos datos en cada nivel (aunque necesitamos múltiples muestras de la mayoría de los niveles) y (3) desiguales muestreo a través de niveles (recuadro 13.1).

Frecuentistas y bayesianos definen los efectos aleatorios de manera algo diferente, lo que afecta la forma en que los usan. Los frecuentes definen los efectos aleatorios como variables categóricas cuyos niveles se eligen al azar de una población más grande, por ejemplo, especies elegidas al azar de una lista de especies endémicas. Los bayesianos definen los efectos aleatorios como conjuntos de variables cuyos parámetros se extraen [todos] de [la misma] distribución. La definición frecuentista es filosóficamente coherente, y se encontrará con investigadores (incluidos revisores y supervisores) que insisten en ello, pero puede ser prácticamente problemático. Por ejemplo, implica que no puede usar especies como efecto aleatorio cuando ha observado todas las especies en su sitio de campo, ya que la lista de especies no es una muestra de una población más grande, o usar el año como un efecto aleatorio, Dado que los investigadores rara vez realizan un experimento en años muestreados al azar, generalmente usan una serie de años consecutivos o el conjunto de años al azar en el que pueden ingresar al campo.

Los efectos aleatorios también pueden describirse como variables predictoras en las que está interesado en hacer inferencias sobre la distribución de valores (es decir, la varianza entre los valores de la respuesta a diferentes niveles) en lugar de probar las diferencias de valores entre niveles particulares.

La gente a veces dice que los efectos aleatorios son "factores que no le interesan". Esto no siempre es cierto. Si bien a menudo es el caso en experimentos ecológicos (donde la variación entre sitios generalmente es solo una molestia), a veces es de gran interés, por ejemplo, en estudios evolutivos donde la variación entre genotipos es la materia prima para la selección natural, o en estudios demográficos donde la variación interanual reduce las tasas de crecimiento a largo plazo. En algunos casos, los efectos fijos también se utilizan para controlar la variación poco interesante, por ejemplo, utilizando la masa como una covariable para controlar los efectos del tamaño del cuerpo.

También escuchará que "no se puede decir nada sobre el valor (predicho) de un modo condicional". Esto tampoco es cierto: no se puede probar formalmente una hipótesis nula de que el valor es igual a cero, o que el los valores de dos niveles diferentes son iguales, pero aún es perfectamente sensato mirar el valor predicho e incluso calcular un error estándar del valor predicho (por ejemplo, ver las barras de error alrededor de los modos condicionales en la figura 13.1).

$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

Dije anteriormente que los efectos aleatorios son más útiles cuando la variable de agrupación tiene muchos niveles medidos. Por el contrario, los efectos aleatorios son generalmente ineficaces cuando la variable de agrupación tiene muy pocos niveles. Por lo general, no puede usar efectos aleatorios cuando la variable de agrupación tiene menos de cinco niveles, y las estimaciones de variación de efectos aleatorios son inestables con menos de ocho niveles, porque está tratando de estimar una variación de una muestra muy pequeña.

Efecto fijo: algo que el experimentador manipula directamente y que a menudo es repetible, por ejemplo, la administración de medicamentos: un grupo recibe medicamentos, un grupo recibe placebo.

Efecto aleatorio: fuente de variación aleatoria / unidades experimentales, por ejemplo, individuos extraídos (al azar) de una población para un ensayo clínico. Efectos aleatorios estima la variabilidad

Efecto mixto: incluye ambos, el efecto fijo en estos casos es estimar los coeficientes del nivel de población, mientras que los efectos aleatorios pueden explicar las diferencias individuales en respuesta a un efecto, por ejemplo, cada persona recibe tanto el medicamento como el placebo en diferentes ocasiones, el fijo Efecto estima el efecto de la droga, los términos de efectos aleatorios permitirían que cada persona responda a la droga de manera diferente.

Categorías generales de efectos mixtos: medidas repetidas, longitudinales, jerárquicas, parcelas divididas.

Llegué a esta pregunta desde aquí , un posible duplicado.

Ya hay varias respuestas excelentes, pero como se indica en la respuesta aceptada, hay muchos usos diferentes (pero relacionados) del término, por lo que podría ser valioso dar la perspectiva empleada en econometría, que todavía no parece abordarse completamente aquí. .

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

$\alpha_i$

$\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

$y$$X$$y_{it}$$X_{it}$

$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

$\delta$$t$$\alpha_i$$X_{it}$

$T$m

Aquí está el código que genera los datos y que produce una estimación RE positiva y una estimación FE "correcta" y negativa. (Dicho esto, las estimaciones de RE a menudo también serán negativas para otras semillas, ver arriba).

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

La salida:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

La distinción solo es significativa en el contexto de las estadísticas no bayesianas. En las estadísticas bayesianas, todos los parámetros del modelo son "aleatorios".

En econometría, los términos se aplican típicamente en modelos lineales generalizados, donde el modelo tiene la forma

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

$\alpha_i \perp u_{it}$

$\alpha_i \not \perp u_{it}$

En modelos lineales , la presencia de un efecto aleatorio no da como resultado una inconsistencia del estimador OLS. Sin embargo, el uso de un estimador de efectos aleatorios (como mínimos cuadrados generalizados factibles) dará como resultado un estimador más eficiente .

En modelos no lineales , como probit, tobit, ..., la presencia de un efecto aleatorio, en general, dará como resultado un estimador inconsistente. El uso de un estimador de efectos aleatorios restaurará la consistencia.

Para los modelos lineales y no lineales, los efectos fijos resultan en un sesgo. Sin embargo, en los modelos lineales hay transformaciones que se pueden usar (como las primeras diferencias o degradantes), donde OLS en los datos transformados dará como resultado estimaciones consistentes. Para los modelos no lineales, hay algunas excepciones donde existen transformaciones, logit de efectos fijos es un ejemplo.

Ejemplo: efectos aleatorios probit. Suponer

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

y el resultado observado es

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

El estimador de máxima verosimilitud agrupado minimiza el promedio muestral de

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Por supuesto, aquí el registro y el producto se simplifican, pero por razones pedagógicas, esto hace que la ecuación sea más comparable al estimador de efectos aleatorios, que tiene la forma

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

Podemos, por ejemplo, aproximar la integral por aleatorización tomando sorteos de normales al azar y evaluando la probabilidad de cada uno.$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

La intuición es la siguiente: no sabemos qué tipo, , es cada observación. En cambio, evaluamos el producto de las probabilidades a lo largo del tiempo para una secuencia de sorteos. El tipo más probable para la observación tendrá la mayor probabilidad en todos los períodos y por lo tanto va a dominar la contribución probabilidad de que -secuencia de observaciones. i $\alpha_i$$i$$T$

No es realmente una definición formal, pero me gustan las siguientes diapositivas: Modelos mixtos y por qué los sociolingüistas deberían usarlos ( espejo ), de Daniel Ezra Johnson. Se ofrece una breve recapitulación en la diapositiva 4. Aunque se centró principalmente en estudios psicolingüísticos, es muy útil como primer paso.

Otra perspectiva muy práctica sobre modelos de efectos aleatorios y fijos proviene de la econometría cuando se realizan regresiones lineales en datos de panel . Si está estimando la asociación entre una variable explicativa y una variable de resultado en un conjunto de datos con múltiples muestras por individuo / grupo, este es el marco que desea usar.

Un buen ejemplo de los datos del panel son las mediciones anuales de un conjunto de individuos de:

• $gender_i$ (género de la ésima persona)$i$
• ${\Delta}weight_{it}$ (cambio de peso durante el año para la persona )$t$$i$
• $exercise_{it}$ (ejercicio diario promedio durante el año para la persona )$t$$i$

Si intentamos comprender la relación entre el ejercicio y el cambio de peso, configuraremos la siguiente regresión:

e x e r c i s e i t + β 1 g e n d e r i + α i + ϵ i ${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$ es la cantidad de interés
• $\beta_1$ no es interesante, solo estamos controlando el género con él
• $\alpha_i$ es la intersección por persona
• $\epsilon_{it}$

$\beta_0$$\beta_0$

$\alpha_i$$\beta_1$$gender_i$$\alpha_i$

Entonces, la pregunta clave es determinar qué modelo es apropiado. La respuesta es la prueba de Hausman . Para usarlo, realizamos la regresión de efectos fijos y aleatorios, y luego aplicamos la prueba de Hausman para ver si sus coeficientes estimados difieren significativamente. Si divergen, la endogeneidad está en juego y un modelo de efectos fijos es la mejor opción. De lo contrario, iremos con efectos aleatorios.