comparación lme y lmer

Me preguntaba si alguien podría iluminarme sobre las diferencias actuales entre estas dos funciones. Encontré la siguiente pregunta: ¿Cómo elegir la biblioteca nlme o lme4 R para modelos de efectos mixtos? , pero eso data de hace un par de años. Eso es toda una vida en los círculos de software.

Mis preguntas específicas son:

¿Hay (todavía) alguna estructura de correlación lmeque lmerno se maneje?
¿Es posible / recomendado usar lmerpara los datos del panel?

Disculpas si estos son algo básicos.

Un poco más de detalle: los datos del panel es donde tenemos múltiples mediciones en los mismos individuos, en diferentes momentos. Por lo general, trabajo en un contexto comercial, donde es posible que tenga datos para clientes recurrentes / a largo plazo durante varios años. Queremos permitir variaciones a lo largo del tiempo, pero es claramente ineficaz ajustar una variable ficticia para cada mes o año. Sin embargo, no estoy claro si lmeres la herramienta adecuada para este tipo de datos, o si necesito las estructuras de autocorrelación que lmetiene.

r mixed-model lme4-nlme

— Hong Ooi
fuente

Esa respuesta aún está actualizada. lmertodavía no maneja la variedad de estructuras de correlación y varianza que lmesí lo hace, y como entiendo la situación, probablemente nunca lo hará.

— Aaron - Restablece a Mónica el

@ Aaron Gracias por la respuesta. Para la segunda parte, ¿afecta esto lmerla capacidad de manejar el conjunto de datos del panel? ¿O puedo escapar sin hacer suposiciones específicas de correlación?

— Hong Ooi

@ Aaron, no sé sobre "nunca" manejaré estructuras corr / var. Estoy interesado en agregar estas características y no creo que sea tan difícil, pero ciertamente diría "no aguantes tu aliento". No estoy lo suficientemente familiarizado con los datos del panel para saber qué se necesitaría para lmermanejarlos ... Hong, ¿puede agregar una breve explicación a la pregunta que describa las propiedades estadísticas necesarias con un poco más de detalle, o brinde sugerencias?

— Ben Bolker

@BenBolker Agregó algunos detalles.

— Hong Ooi

Yo diría lmerque sería bastante bueno con un efecto aleatorio de año y un efecto aleatorio de cliente (digamos que solo tiene una medida por cliente por año); Si tiene una tendencia general de tiempo (efecto fijo), también debe considerar una interacción aleatoria de tiempo por cliente (es decir, pendientes aleatorias). Idealmente, también querría permitir la autocorrelación temporal dentro de la serie temporal de cada cliente, lo que en este momento no es posible con lmer, pero puede verificar la función de autocorrelación temporal para ver si eso era importante ...

— Ben Bolker

Respuestas:

ACTUALIZACIÓN JUNIO 2016:

Consulte la entrada del blog de Ben que describe sus pensamientos actuales sobre cómo lograr esto en lme4: Braindump 01 de junio de 2016

Si prefiere los métodos bayesianos, el brmspaquete brmadmite algunas estructuras de correlación: página CRAN brms . (Observe especialmente: "A partir de la versión 0.6.0 de brms, la estructura AR se refiere a los efectos autorregresivos de los residuos para que coincidan con la denominación y la implementación en otros paquetes como nlme. Anteriormente, el término AR en brms se refería a los efectos autorregresivos de la respuesta. Estos últimos ahora se denominan efectos ARR y se pueden modelar utilizando el argumento r en las funciones cor_arma y cor_arr ".

RESPUESTA ORIGINAL JULIO 2013:

(Convertido de un comentario).

Yo diría lmerque sería bastante bueno con un efecto aleatorio de año y un efecto aleatorio de cliente (digamos que solo tiene una medida por cliente por año);

lmer(y~1 + (1|year) + (1|customer), ...)

encajaría en el modelo (solo de intercepción)

Y_{i j} \sim Normal (a + ϵ_{year, i} + ϵ_{customer, j}, σ_{0}^{2})

$Y_{ij} \sim \text{Normal}(a + \epsilon_{\text{year},i} + \epsilon_{\text{customer},j}, \sigma^2_0)$ donde y son variables normales de media cero con sus propias variaciones específicas.

ϵ_{year}

$\epsilon_{\text{year}}$

ϵ_{customer}

$\epsilon_{\text{customer}}$

Este es un modelo bastante aburrido, es posible que desee agregar una tendencia general de tiempo (efecto fijo) y también considerar una interacción aleatoria de tiempo por cliente (es decir, pendientes aleatorias). Yo creo que

lmer(y~year + (1|year) + (year|customer), ...)

debe ajustarse al modelo

Y_{i j} \sim Normal ((a + ϵ_{customer, j}) + (b + ϵ_{year \times customer, j}) \cdot year + ϵ_{year, i}, σ_{0}^{2})

$Y_{ij} \sim \text{Normal}((a + \epsilon_{\text{customer},j}) + (b + \epsilon_{\text{year} \times \text{customer},j}) \cdot \text{year} + \epsilon_{\text{year},i}, \sigma^2_0)$

(el uso yearde esta manera es una excepción a la regla habitual de no incluir una variable de entrada como un efecto ajustado y aleatorio en el mismo modelo; siempre que sea una variable numérica, yearse trata como continua en el efecto fijo y el year:customer(aleatorio) interacción y como categórico en el efecto aleatorio ...)

Por supuesto, es posible que desee agregar covariables a nivel de año, de cliente y de observación que absorberían algunas de las variaciones relevantes (por ejemplo, agregue el índice de precios al consumidor promedio para explicar por qué los años fueron malos o buenos ...)

Idealmente, también querría permitir la autocorrelación temporal dentro de la serie temporal de cada cliente, lo que en este momento no es posible lmer, pero puede verificar la función de autocorrelación temporal para ver si eso era importante ...

Advertencia : no sé mucho acerca de los enfoques estándar para el manejo de datos de panel; Esto se basa solo en mi conocimiento de modelos mixtos. Los comentaristas (o editores) deben sentirse libres de intervenir si esto parece violar las prácticas estándar / mejores en econometría.

— Ben Bolker
fuente

A menos que esto sea una notación extraña, generalmente significa que la distribución marginal de es normal con media y varianza - Creo que sus ecuaciones no son del todo correctas. Lo que has escrito son distribuciones condicionales, dados los efectos aleatorios. La distribución marginal de en el primer modelo es En el segundo modelar la media marginal es y la varianza es una expresión más complicada que implica la covarianza entre la pendiente / intercepción aleatoria del año más las otras cosas.

X \sim N (μ, σ^{2})

$X \sim N(\mu, \sigma^2)$

X

$X$

μ

$\mu$

σ^{2}

$\sigma^2$

Y_{i j}

$Y_{ij}$

N (a, σ_{0}^{2} + σ_{y e a r}^{2} + σ_{c u s t}^{2})

$N(a,\sigma^{2}_0 + \sigma^{2}_{year} + \sigma^{2}_{cust})$

a + b \cdot y e a r

$a+b \cdot {\rm year}$

— macro

Sí, gracias Ben. En la práctica también habría efectos fijos, por ejemplo, edad, sexo y todos los sospechosos habituales. @Macro: Ben tiene razón, creo.

— Hong Ooi

@Macro: Creo que la notación es extraña / inusual, pero correcta (es decir, equivalente a lo que sugiere). He expresado los términos de efectos aleatorios como parte de . Probablemente sería más claro / más familiar si lo escribiera en notación multinivel ( ).

μ

$\mu$

Y \sim Normal (X β + Z u, σ^{2}); u \sim MVNormal (0, Σ); Σ = f (θ)

$Y \sim \text{Normal}(X \beta + Z u, \sigma^2); u \sim \text{MVNormal}(0,\Sigma); \Sigma=f(\theta)$

— Ben Bolker

@BenBolker: ¿has notado que he establecido una recompensa por esta pregunta, porque estoy buscando una actualización potencial ?

— S. Kolassa - Restablece a Monica

Acabo de publicar algunas cosas en las que he estado trabajando recientemente en rawgit.com/bbolker/mixedmodels-misc/master/notes/… ; Trataré de incorporar los bits relevantes en mi respuesta (alternativamente, cualquier otra persona puede publicar su propia respuesta en función de esa información o editar mi pregunta)

— Ben Bolker,

¡Para responder a sus preguntas directamente, y NB esto es años después de la publicación original!

Sí, todavía hay estructuras de correlación que nlme maneja y que lme4 no manejará. Sin embargo, mientras nlme permita que el usuario defina corstrs generales y lme4 no, este será el caso. Esto tiene sorprendentemente poco impacto práctico. Las estructuras de correlación de "tres grandes" de: estructuras de correlación independientes, intercambiables y AR-1 son fáciles de manejar por ambos paquetes.
Ciertamente es posible . ¡También puede ajustar los datos del panel con la lmfunción! Mi recomendación sobre cuál usar depende del problema. lme4es un kit de herramientas mucho más pequeño, y la representación de la fórmula es una forma clara y concisa de representar algunos modelos de efectos mixtos muy comunes. nlmees la caja de herramientas muy grande, que incluye un soldador TIG para hacer cualquier herramienta que necesite.

Dices que quieres permitir la "variación en el tiempo". Esencialmente, una estructura de correlación intercambiable logra esto, lo que permite una intercepción aleatoria en cada grupo, de modo que la variación dentro del grupo es la suma de la variación del nivel del grupo, así como (lo que se llama) variación a lo largo del tiempo. Y esto de ninguna manera lo disuade de usar efectos fijos para obtener predicciones más precisas con el tiempo.

— AdamO
fuente

Hmm ¿Cómo se puede usar la correlación AR-1 en lme4?

— ameba dice Reinstate Monica