¿Cuál es la diferencia matemática entre efectos aleatorios y efectos fijos?

26

He encontrado mucho en Internet con respecto a la interpretación de efectos aleatorios y fijos. Sin embargo, no pude obtener una fuente que establezca lo siguiente:

¿Cuál es la diferencia matemática entre efectos aleatorios y efectos fijos?

Con eso quiero decir la formulación matemática del modelo y la forma en que se estiman los parámetros.

— jokel
fuente

1

Bueno, los efectos fijos afectan la media de una distribución conjunta y los efectos aleatorios afectan la varianza y la estructura de asociación. ¿Qué quiere decir exactamente con la "diferencia matemática"? ¿Estás preguntando cómo cambia la probabilidad? ¿Puedes ser mas específico?

— Macro

De posible interés: ¿Cuál es la diferencia entre efectos aleatorios, efectos fijos y modelo marginal?

— gung - Restablece a Monica

1

También relacionado: ¿Cuál es la diferencia entre los modelos de efecto fijo, efecto aleatorio y efecto mixto?

— ameba dice Reinstate Monica

1

La pregunta no parece distinguir el fondo del que se está dibujando. Esta terminología en Panel Data Economics es diferente de la de otras ciencias sociales que usan modelos multinivel. La pregunta requiere más aclaraciones. De lo contrario, esto es engañoso para quienes llegan aquí desde cualquiera de los antecedentes sin saber que existe una definición alternativa en un campo relacionado.

— luchonacho

21

El modelo más simple con efectos aleatorios es el modelo ANOVA unidireccional con efectos aleatorios, dado por observaciones con supuestos de distribución: $y_{ij}$

(y_{yo j} ∣ μ_{yo}) \sim_{iid} norte (μ_{yo}, σ_{w}^{2}), j = 1, ..., J, μ_{yo} \sim_{iid} norte (μ, σ_{si}^{2}), yo = 1, ..., yo .

$(y_{ij} \mid \mu_i) \sim_{\text{iid}} {\cal N}(\mu_i, \sigma^2_w), \quad j=1,\ldots,J, \qquad \mu_i \sim_{\text{iid}} {\cal N}(\mu, \sigma^2_b), \quad i=1,\ldots,I.$

Aquí los efectos aleatorios son . Son variables aleatorias, mientras que son números fijos en el modelo ANOVA con efectos fijos. $\mu_i$

Por ejemplo, cada uno de los tres técnicos en un laboratorio registra una serie de mediciones, y es la -ésima medición del técnico . Llame a el "valor medio verdadero" de la serie generada por el técnico ; Este es un parámetro poco artificial, se puede ver como el valor medio ese técnico se habría obtenido si él / ella había registrado una enorme serie de mediciones. $i=1,2,3$ $y_{ij}$ $j$ $i$ $\mu_i$ $i$ $\mu_i$ $i$

Si está interesado en evaluar , , (por ejemplo, para evaluar el sesgo entre operadores), debe usar el modelo ANOVA con efectos fijos. $\mu_1$ $\mu_2$ $\mu_3$

usar el modelo ANOVA con efectos aleatorios cuando esté interesado en las varianzas y definen el modelo, y la varianza total (ver más abajo). La varianza es la varianza de las grabaciones generadas por un técnico (se supone que es la misma para todos los técnicos), y se denomina varianza entre técnicos. Quizás lo ideal es que los técnicos se seleccionen al azar. $\sigma^2_w$ $\sigma^2_b$ $\sigma^2_b+\sigma^2_w$ $\sigma^2_w$ $\sigma^2_b$

Este modelo refleja la fórmula de descomposición de la varianza para una muestra de datos: ingrese la descripción de la imagen aquí

Varianza total = varianza de medias medias de intravarianzas $+$

que se refleja en el modelo ANOVA con efectos aleatorios: ingrese la descripción de la imagen aquí

De hecho, la distribución de se define por su distribución condicional dada y por la distribución de . Si se calcula la distribución "incondicional" de entonces encontramos . $y_{ij}$ $(y_{ij})$ $\mu_i$ $\mu_i$ $y_{ij}$ $\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Vea la diapositiva 24 y la diapositiva 25 aquí para obtener mejores imágenes (debe guardar el archivo pdf para apreciar las superposiciones, no vea la versión en línea).

— Stéphane Laurent
fuente

1

(+1) ¡Muy buenas figuras!

— ameba dice Reinstate Monica

1

Gracias @amoeba, mi código para los momentos de inercia está disponible en mi blog: stla.github.io/stlapblog/posts/Variance_inertia.html

— Stéphane Laurent

No lo entiendo Si tengo una serie de mediciones realizadas por varios técnicos, ¿por qué necesito un ANOVA? ¿No puedo adaptar un gaussiano a los resultados de cada técnico y obtener un y para cada uno de ellos? ¿Qué me permite hacer su forma de resolver esto?

μ

$\mu$

σ

$\sigma$

— TheChymera

@TheChymera ANOVA es la suposición de una común . Con este supuesto, obtienes un intervalo de confianza más corto. Pero su comentario es sobre las razones para usar un ANOVA con una variación común frente a un ANOVA con diferentes variaciones, este no es realmente el tema aquí.

σ

$\sigma$

— Stéphane Laurent

@ StéphaneLaurent ¿Qué ANOVA es la suposición de una común ? - también, ¿a qué cosas es común esta ? Usted dijo "Si está interesado en evaluar μ1, μ2, μ3 (por ejemplo, para evaluar el sesgo entre operadores), entonces debe usar el modelo ANOVA con efectos fijos". ¿Cuál es la fórmula del método ANOVA con efectos fijos y cómo le informa sobre sin informarle sobre ? Además, ¿cómo puede darle una estimación de sin proporcionar toda la información requerida para calcular ? (y viceversa para el modelo de efectos aleatorios)

σ

$\sigma$

σ

$\sigma$

μ_{i}

$\mu_i$

σ_{b}^{2}

$\sigma_b^2$

μ_{i}

$\mu_i$

σ_{w}^{2}

$\sigma_w^2$

— TheChymera

16

Básicamente, lo que creo que es la diferencia más clara si modelas un factor como aleatorio, es que se supone que los efectos provienen de una distribución normal común.

Por ejemplo, si tiene algún tipo de modelo con respecto a las calificaciones y desea contabilizar los datos de sus alumnos provenientes de diferentes escuelas y modela la escuela como un factor aleatorio, esto significa que asume que los promedios por escuela normalmente se distribuyen. Eso significa que dos fuentes de variación son los modelos: la variabilidad en la escuela de las calificaciones de los estudiantes y la variabilidad entre escuelas.

Esto da como resultado algo llamado agrupación parcial . Considere dos extremos:

La escuela no tiene ningún efecto (la variabilidad entre escuelas es cero). En este caso, un modelo lineal que no tiene en cuenta la escuela sería óptimo.
La variabilidad escolar es mayor que la variabilidad del estudiante. Entonces, básicamente, debe trabajar en el nivel escolar en lugar del nivel de los estudiantes (menos # muestras). Este es básicamente el modelo en el que cuentas la escuela usando efectos fijos. Esto puede ser problemático si tiene pocas muestras por escuela.

Al estimar la variabilidad en ambos niveles, el modelo mixto hace un compromiso inteligente entre estos dos enfoques. Especialmente si tiene un #estudiante no tan grande por escuela, esto significa que obtendrá una reducción de los efectos para las escuelas individuales según lo estimado por el modelo 2 hacia la media general del modelo 1.

Esto se debe a que los modelos dicen que si tiene una escuela con dos estudiantes incluidos, lo cual es mejor de lo que es "normal" para la población de las escuelas, entonces es probable que parte de este efecto se deba a que la escuela tuvo la suerte de elegir de los dos estudiantes miraron. No hace esto a ciegas, lo hace dependiendo de la estimación de la variabilidad dentro de la escuela. Esto también significa que los niveles de efecto con menos muestras se atraen más hacia la media general que las escuelas grandes.

Lo importante es que necesita intercambiabilidad en los niveles del factor aleatorio. Eso significa en este caso que las escuelas son (según su conocimiento) intercambiables y no sabe nada que las haga distintas (aparte de algún tipo de identificación). Si tiene información adicional, puede incluir esto como un factor adicional, es suficiente que las escuelas sean intercambiables condicional a la otra información contabilizada.

Por ejemplo, tendría sentido suponer que los adultos de 30 años que viven en Nueva York son condicionales intercambiables de género. Si tiene más información (edad, etnia, educación), también tendría sentido incluir esa información.

OTH si tiene estudios con un grupo de control y tres grupos de enfermedades muy diferentes, no tiene sentido modelar el grupo como aleatorio, ya que las enfermedades específicas no son intercambiables. Sin embargo, a muchas personas les gusta el efecto de contracción tan bien que todavía argumentarían por un modelo de efectos aleatorios, pero esa es otra historia.

Noté que no me metí demasiado en las matemáticas, pero básicamente la diferencia es que el modelo de efectos aleatorios estimó un error distribuido normalmente tanto en el nivel de las escuelas como en el nivel de los estudiantes, mientras que el modelo de efectos fijos solo tiene el error El nivel de los estudiantes. Especialmente esto significa que cada escuela tiene su propio nivel que no está conectado a los otros niveles por una distribución común. Esto también significa que el modelo fijo no permite extrapolar a un alumno de la escuela que no está incluido en los datos originales, mientras que el modelo de efectos aleatorios lo hace, con una variabilidad que es la suma del nivel del alumno y la variabilidad del nivel escolar. Si está específicamente interesado en la probabilidad de que podamos trabajar en eso.

— Erik
fuente

1

(+1) Una gran respuesta, que sorprendentemente no ha sido votada. Noté un error tipográfico confuso: "excluido" debería leer "incluido". Aparte de eso: ¿cuál sería una diferencia práctica esperada entre tratar la escuela como un efecto aleatorio versus un efecto fijo? Entiendo que tratarlo como fijo no permitiría predecir el rendimiento del estudiante de una nueva escuela, pero ¿qué pasa con las diferencias en los datos disponibles? Digamos que otros efectos fijos son el género, la raza y el peso de los estudiantes (lo que sea). ¿El tratamiento de la escuela como aleatorio / fijo influye en el poder de los principales efectos o interacciones de interés? ¿Alguna otra diferencia?

— ameba dice Reinstate Monica

3

@amoeba Dejando a un lado la coherencia, MSE en un coeficiente de nivel de estudiante puede ser más o menos eficiente en un modelo de efectos aleatorios frente a un modelo de efectos fijos dependiendo, entre otras cosas, del nivel de correlación entre el estudiante X y el efecto aleatorio, números de conglomerados, etc. . Clark y Linzer 2012 tiene resultados de la simulación.

— conjugateprior

1

@conjugateprior Wow, muchas gracias por este comentario! Leí el documento vinculado y es la explicación más clara del problema que he visto. He pasado una cantidad considerable de tiempo leyendo varios hilos aquí en CV sobre efectos fijos / aleatorios, pero no pude averiguar cuándo uno debe usar uno sobre otro y por qué. Leer C&L me hizo muchas cosas mucho más claras. ¿Quizás desee escribir una respuesta en algún lugar del CV presentando el resumen de este y / o documentos relacionados? Estoy generando una recompensa por el hilo más votado [modelo mixto] y estaré encantado de otorgarle otro allí también.

— ameba dice Reinstate Monica

@Erik, edité para corregir "escolarización parcial" a "agrupación parcial". ¡Creo que fue un error tipográfico pero me disculpo si fue un juego de palabras intencionado!

— ameba dice Reinstate Monica

2

En la economía, dichos efectos son intercepciones (o constantes) específicas de cada individuo que no se observan, pero que pueden estimarse utilizando datos de panel (observación repetida en las mismas unidades a lo largo del tiempo). El método de estimación de efectos fijos permite la correlación entre las intercepciones específicas de la unidad y las variables explicativas independientes. Los efectos aleatorios no. El costo de usar los efectos fijos más flexibles es que no se puede estimar el coeficiente en variables que son invariables en el tiempo (como el género, la religión o la raza).

NB Otros campos tienen su propia terminología, que puede ser bastante confusa.

— Dimitriy V. Masterov
fuente

(-1) esto no dice nada sobre la diferencia matemática entre efectos fijos y aleatorios

— Macro

1

@Macro De acuerdo. Antes de que eso suceda, sería útil saber si la terminología económica es lo que está buscando el OP. Debería haber sido más claro al respecto.

— Dimitriy V. Masterov

OKAY. En ese caso, esto puede ser más apropiado como comentario, ¿no le parece?

— Macro

La afirmación "El costo de usar los efectos fijos más flexibles es que no se puede estimar el coeficiente en variables que son invariables en el tiempo" simplemente no es cierto. Acabo de hacer una simulación en la que tienes mediciones repetidas en individuos y un solo predictor binario que no varía en el tiempo. Si incluye un efecto fijo para ID y uno para el predictor binario, ciertamente puede estimar el coeficiente en el predictor binario (aunque, admito, si no tiene muchas mediciones repetidas, la estimación tiene un error estándar grande).

— Macro

3

Andrew Gelman (que no es economista) enumera 5 definiciones distintas en su documento de ANOVA: stat.columbia.edu/~gelman/research/published/banova7.pdf .

— Dimitriy V. Masterov

2

En un paquete de software estándar (por ejemplo, R lmer), la diferencia básica es:

los efectos fijos se estiman por la máxima verosimilitud (mínimos cuadrados para un modelo lineal)
los efectos aleatorios se estiman mediante Bayes empírico (mínimos cuadrados con cierta contracción para un modelo lineal, donde el parámetro de contracción se elige por la máxima probabilidad)

Si estás siendo bayesiano (por ejemplo, WinBUGS), entonces no hay una diferencia real.

— Simon Byrne
fuente

3

Estoy totalmente en desacuerdo sobre que no haya diferencia. Puede ajustar un modelo de efectos fijos bayesianos con todos los coeficientes que tengan anteriores separados o un modelo mixto bayesiano donde haya hiperparámetros.

— Erik

Si estás siendo bayesiano las miradas de diferencia como este .

— conjugateprior

@ Simon es una respuesta precisa y crujiente. Debería haberlo mencionado hace mucho tiempo.

— Subhash C. Davar

-3

@Joke Un modelo de efectos fijos implica que el tamaño del efecto generado por un estudio (o experimento) es fijo, es decir, las mediciones repetidas para una intervención resultan del mismo tamaño del efecto. Presumiblemente, las condiciones externas e internas para el experimento no cambian. Si tiene varios ensayos y / o estudios en diferentes condiciones, tendrá diferentes tamaños de efecto. Las estimaciones paramétricas de la media y la varianza para un conjunto de tamaños de efectos pueden realizarse suponiendo que se trata de efectos fijos o de efectos aleatorios (realizados a partir de una superpoblación). Creo que es una cuestión que puede resolverse con la ayuda de estadísticas matemáticas.

— Subhash C. Davar
fuente