¿Qué es un modelo "saturado"?

¿Qué se quiere decir cuando decimos que tenemos un modelo saturado?

Un modelo saturado es aquel en el que hay tantos parámetros estimados como puntos de datos. Por definición, esto conducirá a un ajuste perfecto, pero será de poca utilidad estadísticamente, ya que no le quedan datos para estimar la varianza.

Por ejemplo, si tiene 6 puntos de datos y ajusta un polinomio de quinto orden a los datos, tendría un modelo saturado (un parámetro para cada una de las 5 potencias de su variable independiente más uno para el término constante).

Un modelo saturado es un modelo que está sobreparamizado hasta el punto de que básicamente solo está interpolando los datos. En algunos entornos, como la compresión y la reconstrucción de imágenes, esto no es necesariamente algo malo, pero si está intentando construir un modelo predictivo es muy problemático.

En resumen, los modelos saturados conducen a predictores de varianza extremadamente alta que son empujados por el ruido más que los datos reales.

Como experimento mental, imagine que tiene un modelo saturado y hay ruido en los datos, luego imagine ajustar el modelo unos cientos de veces, cada vez con una realización diferente del ruido, y luego prediciendo un nuevo punto. Es probable que obtenga resultados radicalmente diferentes cada vez, tanto para su ajuste como para su predicción (y los modelos polinomiales son especialmente notorios a este respecto); en otras palabras, la varianza del ajuste y el predictor son extremadamente altos.

Por el contrario, un modelo que no está saturado (si se construye razonablemente) dará ajustes que sean más consistentes entre sí, incluso bajo una realización de ruido diferente, y la varianza del predictor también se reducirá.

Un modelo está saturado si y solo si tiene tantos parámetros como puntos de datos (observaciones). O dicho de otro modo, en modelos no saturados, los grados de libertad son mayores que cero.

Básicamente, esto significa que este modelo es inútil, ya que no describe los datos de manera más parsimoniosa que los datos sin procesar (y describir datos parsimoniosamente es generalmente la idea detrás del uso de un modelo). Además, los modelos saturados pueden (pero no necesariamente) proporcionar un ajuste perfecto (inútil) porque simplemente interpolan o iteran los datos.

Tomemos, por ejemplo, la media como modelo para algunos datos. Si solo tiene un punto de datos (por ejemplo, 5), usar la media (es decir, 5; tenga en cuenta que la media es un modelo saturado para un solo punto de datos) no ayuda en absoluto. Sin embargo, si ya tiene dos puntos de datos (por ejemplo, 5 y 7), usar la media (es decir, 6) como modelo le proporciona una descripción más parsimoniosa que los datos originales.

Como todos los demás dijeron antes, significa que tiene tantos parámetros como puntos de datos. Por lo tanto, no hay bondad de prueba de ajuste. Pero esto no significa que "por definición", el modelo pueda adaptarse perfectamente a cualquier punto de datos. Te puedo decir por experiencia personal de trabajar con algunos modelos saturados que no podían predecir puntos de datos específicos. Es bastante raro, pero posible.

Otra cuestión importante es que saturada no significa inútil. Por ejemplo, en los modelos matemáticos de la cognición humana, los parámetros del modelo están asociados con procesos cognitivos específicos que tienen una base teórica. Si un modelo está saturado, puede probar su adecuación haciendo experimentos enfocados con manipulaciones que deberían afectar solo parámetros específicos. Si las predicciones teóricas coinciden con las diferencias observadas (o la falta de) en las estimaciones de los parámetros, entonces se puede decir que el modelo es válido.

Un ejemplo: imagine, por ejemplo, un modelo que tiene dos conjuntos de parámetros, uno para el procesamiento cognitivo y otro para las respuestas motoras. Imagine ahora que tiene un experimento con dos condiciones, una en la que la capacidad de respuesta de los participantes se ve afectada (solo pueden usar una mano en lugar de dos), y en la otra condición no hay impedimento. Si el modelo es válido, las diferencias en las estimaciones de los parámetros para ambas condiciones solo deben ocurrir para los parámetros de respuesta del motor.

Además, tenga en cuenta que incluso si un modelo no está saturado, aún podría no ser identificable, lo que significa que diferentes combinaciones de valores de parámetros producen el mismo resultado, lo que compromete cualquier ajuste del modelo.

Si desea encontrar más información sobre estos temas en general, puede consultar estos documentos:

Bamber, D. y van Santen, JPH (1985). ¿Cuántos parámetros puede tener un modelo y aún ser comprobable? Revista de Psicología Matemática, 29, 443-473.

Bamber, D. y van Santen, JPH (2000). Cómo evaluar la capacidad de prueba e identificabilidad de un modelo. Revista de Psicología Matemática, 44, 20-40.

salud

También es útil si necesita calcular AIC para un modelo de cuasi-verosimilitud. La estimación de la dispersión debe provenir del modelo saturado. Debería dividir el LL que está ajustando por la dispersión estimada del modelo saturado en el cálculo de AIC.

En el contexto de SEM (o análisis de ruta), un modelo saturado o un modelo recién identificado es un modelo en el que la cantidad de parámetros libres es exactamente igual a la cantidad de variaciones y covarianzas únicas. Por ejemplo, el siguiente modelo es un modelo saturado porque hay 3 * 4/2 puntos de datos (variaciones y covarianzas únicas) y también 6 parámetros libres para estimar: