¿Diagnósticos para regresión logística?

Para la regresión lineal, podemos verificar las gráficas de diagnóstico (gráficas de residuos, gráficas QQ normales, etc.) para verificar si se violan los supuestos de la regresión lineal.

Para la regresión logística, tengo problemas para encontrar recursos que expliquen cómo diagnosticar el ajuste del modelo de regresión logística. Desenterrando algunas notas del curso para GLM, simplemente declara que verificar los residuos no es útil para realizar el diagnóstico de un ajuste de regresión logística.

Al mirar en Internet, también parece haber varios procedimientos de "diagnóstico", como verificar la desviación del modelo y realizar pruebas de ji cuadrado, pero otras fuentes afirman que esto es inapropiado y que debe realizar una bondad de ajuste de Hosmer-Lemeshow prueba. Luego encuentro otras fuentes que afirman que esta prueba puede ser altamente dependiente de las agrupaciones reales y los valores de corte (pueden no ser confiables).

Entonces, ¿cómo se debe diagnosticar el ajuste de regresión logística?

regression logistic

— ialm
fuente

Posible duplicado (o caso especial) de stats.stackexchange.com/questions/29271/… o stats.stackexchange.com/questions/44643/… , aunque ninguno de ellos tiene respuestas que realmente lo resolverán por usted.

— Peter Ellis

Le recomiendo que lea la monografía de Scott Menard, que no hace mucho tiempo estaba disponible en su totalidad de forma gratuita en la web.

— rolando2

Esta pregunta sobre las medidas de bondad de ajuste para la regresión logística puede ser útil (aunque la bondad de ajuste es, por supuesto, solo una pequeña parte del diagnóstico del modelo): stats.stackexchange.com/questions/3559/logistic-regression-which-pseudo-r- squared-measure-is-the-one-to-report-cox / 3570

— S. Kolassa - Restablece a Monica el

Respuestas:

Algunas de las técnicas más nuevas que he encontrado para evaluar el ajuste de los modelos de regresión logística provienen de revistas de ciencias políticas:

Greenhill, Brian, Michael D. Ward y Audrey Sacks. 2011. El diagrama de separación: un nuevo método visual para evaluar el ajuste de modelos binarios. American Journal of Political Science 55 (4): 991-1002 .
Esarey, Justin y Andrew Pierce. 2012. Evaluación de la calidad de ajuste y pruebas de especificación errónea en modelos de variables dependientes de binarios. Análisis político 20 (4): 480-500 . Imprima PDF aquí

Ambas técnicas pretenden reemplazar las pruebas de bondad de ajuste (como Hosmer & Lemeshow) e identificar posibles especificaciones erróneas (en particular, la no linealidad en las variables incluidas en la ecuación). Estos son particularmente útiles ya que las medidas de ajuste R-cuadrado típicas son frecuentemente criticadas .

Los dos documentos anteriores utilizan las probabilidades pronosticadas frente a los resultados observados en las parcelas, evitando de alguna manera el problema poco claro de qué es un residuo en dichos modelos. Ejemplos de residuos podrían ser la contribución al logaritmo de probabilidad o los residuos de Pearson (aunque creo que hay muchos más). Otra medida que a menudo es de interés (aunque no residual) son las de DFBeta (la cantidad que una estimación de coeficiente cambia cuando se excluye una observación del modelo). Vea ejemplos en Stata para esta página de UCLA en Diagnósticos de regresión logística junto con otros posibles procedimientos de diagnóstico.

No lo tengo a la mano, pero creo que los modelos de regresión de J. Scott Long para variables dependientes categóricas y limitadas entra en detalles suficientes sobre todas estas diferentes medidas de diagnóstico de una manera simple.

— Andy W
fuente

Hay montones de otros libros (al menos en partes, si no en su totalidad) para la regresión logística. Varios libros de texto de análisis de datos categóricos de Agresti, Scott Menard, Hosmer y Lemeshow, y el libro RMS de Frank Harrell son todos los que he visto recomendados en este foro por varios colaboradores.

— Andy W

Gracias por su respuesta. Supongo que no hay una respuesta simple a mi pregunta. Echaré un vistazo a tus recomendaciones. Salud.

— ialm

La pregunta no estaba suficientemente motivada. Tiene que haber una razón para ejecutar diagnósticos del modelo, como

Posibilidad de cambiar el modelo para mejorarlo
No saber qué pruebas dirigidas usar (es decir, pruebas de no linealidad o interacción)
$P$

Excepto por verificar cosas que son ortogonales a la especificación de regresión algebraica (por ejemplo, examinar la distribución de residuos en modelos lineales ordinarios), el diagnóstico de modelos puede crear tantos problemas como se resuelven en mi opinión. Esto es especialmente cierto en el modelo logístico binario ya que no tiene un supuesto de distribución.

Por lo tanto, generalmente es mejor dedicar tiempo a especificar el modelo, especialmente para no asumir la linealidad de las variables que se consideran fuertes para las cuales ninguna evidencia previa sugiere linealidad. En algunas ocasiones, puede especificar previamente un modelo que debe ajustarse, por ejemplo, si el número de predictores es pequeño o si permite que todos los predictores sean no lineales y (correctamente) no asuman interacciones.

Cualquiera que sienta que los diagnósticos del modelo se pueden usar para cambiar el modelo debe ejecutar ese proceso dentro de un ciclo de arranque para estimar correctamente las incertidumbres inducidas del modelo.

— Frank Harrell
fuente

Estoy de acuerdo en que el diagnóstico del modelo debe provenir del propósito del modelado. Sin embargo, tuve la impresión de su párrafo inicial de que cree que no deberíamos verificar los modelos que ajustamos a los datos. Estoy bastante seguro de que esto no es lo que tenía en mente. Además, el modelo de logística binaria con toda seguridad no tiene hipótesis de distribución! (lo más obvio es que solo existen dos valores para la respuesta)

— probabilidad es

Aparte de suponer que solo hay 2 valores posibles específicos para Y, el modelo logístico binario no tiene dist. Suposiciones Personalmente, no uso gráficos de diagnóstico con regresión logística con mucha frecuencia, sino que opto por especificar modelos que sean lo suficientemente flexibles como para ajustarse a los datos de cualquier manera que el tamaño de la muestra nos dé el lujo de examinar. En OLS, la gráfica de diagnóstico principal que uso es la gráfica qq para la normalidad de los residuos.

— Frank Harrell

Desde una perspectiva de modelo lineal generalizado, el modelo logístico surge de la distribución binomial (distribución de Bernoulli). Pero incluso entonces, es difícil interpretar los residuos.

— New_to_this

No es útil hablar de distribuciones cuando la variable aleatoria puede tomar solo dos valores (es decir, la distribución de Bernoulli) porque no hay forma de que el supuesto de distribución pueda salir mal a menos que las observaciones no sean independientes.

— Frank Harrell el

@FrankHarrell Me doy cuenta de que sabes de lo que estás hablando aquí, pero no creo que sea claro para toda la comunidad a partir de tu publicación / comentarios que la especificación errónea del predictor lineal (o incluso el predictor aditivo en un GAM framework) puede causar problemas de regresión logística. Muchos podrían no apreciar que esto crea no independencia en los datos, como usted dice. Cuando los estudiantes encuentran por primera vez una regresión lineal, aprenden a inspeccionar los residuos sin distinguir entre la especificación errónea del predictor lineal y la especificación errónea de la distribución del error.

— Jacob Socolar

Este hilo es bastante antiguo, pero pensé que sería útil agregar que, desde hace poco, puede usar el paquete DHARMa R para transformar los residuos de cualquier GL (M) M en un espacio estandarizado. Una vez hecho esto, puede evaluar / evaluar visualmente problemas residuales como desviaciones de la distribución, dependencia residual de un predictor, heterocedasticidad o autocorrelación de la manera normal. Consulte la viñeta del paquete para ver ejemplos prácticos, también otras preguntas sobre CV aquí y aquí .

— Florian Hartig
fuente