¿Existe una estadística de ajuste del modelo (como AIC o BIC) que se puede usar para comparaciones absolutas en lugar de solo relativas?

No estoy tan familiarizado con esta literatura, así que perdóneme si esta es una pregunta obvia.

Dado que AIC y BIC dependen de maximizar la probabilidad, parece que solo se pueden usar para hacer comparaciones relativas entre un conjunto de modelos que intentan ajustarse a un conjunto de datos dado. Según tengo entendido, no tendría sentido calcular el AIC para el Modelo A en el conjunto de datos 1, calcular el AIC para el Modelo B en el conjunto de datos 2, y luego comparar los dos valores de AIC y juzgar eso (por ejemplo) El modelo A se ajusta al conjunto de datos 1 mejor que el modelo B se ajusta al conjunto de datos 2. O tal vez estoy equivocado y eso es algo razonable. Por favor hagamelo saber.

Mi pregunta es la siguiente: ¿existe una estadística de ajuste del modelo que se pueda utilizar para comparaciones absolutas en lugar de solo relativas? Para modelos lineales, algo como funcionaría; tiene un rango definido y disciplina ideas específicas sobre lo que es un "buen" valor. Estoy buscando algo más general y pensé que podría comenzar haciendo ping a los expertos aquí. Estoy seguro de que alguien ha pensado en este tipo de cosas antes, pero no conozco los términos correctos para hacer una búsqueda productiva en Google Scholar. $R^2$

Cualquier ayuda sería apreciada.

model-selection aic bic

— Nathan VanHoudnos
fuente

Si el modelo A se ajusta al conjunto de datos 1 y el modelo B se ajusta al conjunto de datos 2, no hay nada que comparar: los modelos y los datos son totalmente diferentes. Entonces, ¿qué estás tratando de lograr exactamente? Por cierto, es peor que inútil en este sentido; para algunas críticas, consulte stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

— whuber

¿Qué quiere decir con algo "más general" podría dar un ejemplo a los otros tipos de modelos a los que le gustaría expandirse? Algunos modelos serán fáciles de adaptar a un enfoque , por ejemplo, ajustes de lowess, pero otros serán bastante difíciles, por ejemplo, ajustes de datos binomiales.

R^{2}

$R^2$

— russellpierce

@whuber Wow, ¡esa es una respuesta increíble a la pregunta ! Pero, dejando de lado sus deficiencias, se usa para decir que su modelo es "bueno" en un sentido "absoluto" (por ejemplo, "Mi es tal y cual es mejor de lo que uno ve normalmente ... "). Estoy buscando una estadística más justificada (y general) que para lograr el mismo propósito (por ejemplo, "Mi MagicStatistic es tal y cual es mejor ...). Mi primer pensamiento ingenuo fue hacer algo como normalizando un puntaje de validación cruzada k-fold, pero no parece que alguien haya hecho algo así (por lo que probablemente no sea una buena idea).

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

R^{2}

$R^2$

R^{2}

$R^2$

Lo único que podría imaginar en el ámbito de lo que estás hablando sería medir la precisión de la predicción. La calidad de dos modelos en dos conjuntos de datos diferentes podría compararse según cuál predice mejor, aunque esto tampoco es perfecto.

— Macro

En línea con lo que Macro sugirió, creo que el término que está buscando es una medida de rendimiento. Aunque no es una forma segura de evaluar el poder predictivo, es una forma muy útil de comparar la calidad de ajuste de varios modelos.

Un ejemplo de medida sería el error de porcentaje medio promedio, pero se pueden encontrar más fácilmente.

Suponga que usa SetA con el modelo A para describir la cantidad de agujeros en una carretera, y usa SetB y el modelo B para describir la cantidad de personas en un país, entonces, por supuesto, no puede decir que un modelo es mejor que el otro, pero puede al menos vea qué modelo proporciona una descripción más precisa.

— Dennis Jaheruddin
fuente

Creo que hay algunos periódicos nuevos que exploran exactamente lo que estás buscando; Nakagawa y Schielzeth (2013) presentan una estadística R² para modelos de efectos mixtos llamada "R2 GLMM" para definir la cantidad de varianza inexplicada en un modelo.

R²GLMM condicional se interpreta como la varianza explicada por factores fijos y aleatorios;

R²GLMM marginal representa la varianza explicada por factores fijos.

En 2014, Johnson actualizó la ecuación para tener en cuenta los modelos de pendientes aleatorias.

Afortunadamente, puede calcular fácilmente R²GLMM marginal y condicional utilizando el paquete "MuMIn" en R ( Barton, 2015 ).

— Estrella nueva
fuente