Enfoque de promedio del modelo: ¿estimaciones de coeficientes de promedio versus predicciones del modelo?


9

Tengo una pregunta básica sobre los enfoques para promediar modelos usando criterios de TI para ponderar modelos dentro de un conjunto de candidatos.

La mayoría de las fuentes que he leído sobre promedios de modelos abogan por promediar las estimaciones de coeficientes de parámetros basadas en ponderaciones de modelos (ya sea utilizando un método de "promedio natural" o un método de "promedio cero"). Sin embargo, tenía la impresión de que promediar y ponderar las predicciones de cada modelo , en lugar de las estimaciones del coeficiente de los parámetros, basadas en los pesos del modelo, es un enfoque más directo y justificado, particularmente si se comparan modelos con variables predictoras no anidadas.

¿Existe una guía clara sobre qué enfoque para promediar modelos está mejor justificado (promediar estimaciones de parámetros ponderados frente a predicciones ponderadas)? Además, ¿existen otras complicaciones con el promedio del modelo de las estimaciones de coeficientes en el caso de modelos mixtos?


Ambos enfoques son posibles. La principal ventaja de promediar predicciones es que puede promediar cualquier tipo de modelo.
Tim

Quizás de interés: "Promedio de modelos en ecología: una revisión de los enfoques bayesianos, teóricos de la información y tácticos para la inferencia predictiva" esajournals.onlinelibrary.wiley.com/doi/10.1002/ecm.1309
Florian Hartig

Respuestas:


4

En los modelos lineales, el promedio de los coeficientes le dará los mismos valores pronosticados que los valores pronosticados del promedio de las predicciones, pero transmite más información. Muchas exposiciones tratan con modelos lineales y, por lo tanto, promedian coeficientes cruzados.

Puede verificar la equivalencia con un poco de álgebra lineal. Di que tienesT observaciones y Npredictores Recoges lo último en elT×N matriz X. Tu también tienesM modelos, cada uno de los cuales asigna un coeficiente estimado βm al Npredictores Apile estas estimaciones de coeficientes en elN×M matriz β. Promedio significa que asigna pesoswm a cada modelo m(los pesos son típicamente no negativos y suman uno). Pon estos pesos en el vectorw de longitud M.

Los valores pronosticados para cada modelo están dados por y^m=Xβmo en la notación apilada

y^=Xβ
Los valores pronosticados del promedio entre las predicciones están dados por
y^w=(Xβ)w
Cuando promedia las estimaciones de coeficientes, calcula
βw=βw
Y los valores pronosticados a partir de los coeficientes promedio están dados por
Xβw=X(βw)
La equivalencia entre los valores pronosticados para cualquier enfoque se deriva de la asociatividad del producto matricial. Dado que los valores pronosticados son los mismos, también puede calcular el promedio de los coeficientes: esto le brinda más información, en caso de que, por ejemplo, desee ver los coeficientes de los predictores individuales.

En los modelos no lineales, la equivalencia generalmente ya no se mantiene y, de hecho, tiene sentido promediar las predicciones. Por ejemplo, aquí se resume la vasta literatura sobre el promedio entre predicciones (combinaciones de pronósticos) .


1
"al menos en modelos lineales" - ¿qué tal solo en modelos lineales?
Hao Ye

Es un argumento "si", no "solo si", así que considero que la frase "al menos" es precisa.
Matthias Schmidtblaicher

Aún así, entiendo tu punto y modifiqué mi respuesta @HaoYe
Matthias Schmidtblaicher
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.