¿Cómo se deben comparar o validar los modelos de efectos mixtos?

¿Cómo se comparan normalmente los modelos de efectos mixtos (lineales) entre sí? Sé que se pueden usar pruebas de razón de probabilidad, pero esto no funciona si un modelo no es un 'subconjunto' del otro ¿correcto?

¿La estimación de los modelos df es siempre sencilla? ¿Número de efectos fijos + número de componentes de varianza estimados? ¿Ignoramos las estimaciones de efectos aleatorios?

¿Qué pasa con la validación? Mi primer pensamiento es la validación cruzada, pero los pliegues aleatorios podrían no funcionar dada la estructura de los datos. ¿Es apropiada una metodología de 'dejar un tema / grupo fuera'? ¿Qué hay de dejar una observación?

Mallows Cp puede interpretarse como una estimación del error de predicción de los modelos. La selección del modelo a través de AIC intenta minimizar el error de predicción (por lo que Cp y AIC deberían elegir el mismo modelo si los errores son gaussianos, creo). ¿Significa esto que AIC o Cp pueden usarse para elegir un modelo de efectos mixtos lineales 'óptimos' de una colección de algunos modelos no anidados en términos de error de predicción? (siempre que se ajusten a los mismos datos) ¿Es aún más probable que BIC elija el modelo "verdadero" entre los candidatos?

También tengo la impresión de que al comparar modelos de efectos mixtos a través de AIC o BIC solo contamos los efectos fijos como 'parámetros' en el cálculo, no los modelos reales df.

¿Existe alguna buena literatura sobre estos temas? ¿Vale la pena investigar cAIC o mAIC? ¿Tienen una aplicación específica fuera de AIC?

El principal problema en la selección de modelos en modelos mixtos es definir los grados de libertad (df) de un modelo, de verdad. Para calcular df de un modelo mixto, uno tiene que definir el número de parámetros estimados, incluidos los efectos fijos y aleatorios. Y esto no es sencillo. Este documento de Jiming Jiang y otros (2008) titulado "Métodos de valla para la selección de modelos mixtos" podría aplicarse en tales situaciones. Un nuevo trabajo relacionado es este uno de Greven, S. & Kneib, T. (2010) titulado "Sobre el comportamiento de la AIC marginal y condicional en modelos lineales mixtos". Espero que esto pueda ser útil.

Una forma de comparar modelos (ya sea mixtos o no) es trazar resultados. Supongamos que tiene el modelo A y el modelo B; producir los valores ajustados de cada uno y representarlos gráficamente uno contra el otro en un diagrama de dispersión. Si los valores son muy similares (usando su juicio sobre si lo son), elija el modelo más simple. Otra idea es encontrar las diferencias entre los valores ajustados y representarlos gráficamente frente a los valores independientes; También puede hacer un diagrama de densidad de las diferencias. En general, soy partidario de no usar pruebas estadísticas para comparar modelos (aunque AIC y sus variantes ciertamente tienen virtudes), sino más bien usar el juicio. Por supuesto, esto tiene la (des) ventaja de no dar respuestas precisas.