¿Existen supuestos particulares con respecto a los errores para la regresión logística, como la variación constante de los términos de error y la normalidad de los residuos?
También típicamente cuando tiene puntos que tienen una distancia de Cook mayor a 4 / n, ¿los elimina? Si los elimina, ¿cómo puede saber si el modelo con los puntos eliminados es mejor?
Respuestas:
No sé si puedo darte una respuesta completa, pero puedo darte algunas ideas que pueden ser útiles. Primero, todos los modelos / pruebas estadísticas tienen supuestos. Sin embargo, la regresión logística no supone que los residuos estén distribuidos normalmente ni que la varianza sea constante. Más bien, se supone que los datos se distribuyen como un binomio, , es decir, con el número de ensayos de Bernoulli igual al número de observaciones en ese conjunto exacto de valores de covariables y con el probabilidad asociada con ese conjunto de valores covariables. Recuerde que la varianza de un binomio es n p ( . Por lo tanto, si las n varían en diferentes niveles de la covariable, las variaciones también lo harán. Además, si alguna de las covariables está relacionada con la variable de respuesta, entonces las probabilidades variarán y, por lo tanto, también lo harán las variaciones. Estos son hechos importantes sobre la regresión logística.
sy las distribuciones jackknifed, porque seleccionó esos datos para excluirlos porque parecen extremos.
1) ¿Existen supuestos particulares con respecto a los errores para la regresión logística, como la variación constante de los términos de error y la normalidad de los residuos?
Los modelos de regresión logística no tienen "errores" en el sentido tradicional. Es a la vez contraintuitivo y metodológicamente inconsistente. Los resultados del modelo son probabilidades o riesgos ajustados, mientras que los resultados observados son indicadores de eventos 0/1. Metodológicamente, tenderías a enfatizar los dominios de probabilidades ajustadas muy altas o muy bajas (contribuyendo cantidades muy pequeñas a la distancia residual), mientras que el algoritmo de ajuste del modelo otorga una importancia considerablemente mayor a tales regiones. La distancia al cuadrado es generalmente una forma pobre de calibrar un modelo de regresión logística.
Una prueba alternativa de bondad de ajuste es la prueba de Hosmer-Lemeshow en la que los valores ajustados se utilizan para crear particiones agrupadas basadas en deciles de riesgo ajustado. Puede leer sobre esta prueba en el Análisis de datos categóricos de Alan Agresti o en el libro Registic Logistic by Hosmer and Lemeshow. Otro proceso es usar los Residuos Studentizados donde la relación de varianza media se usa para revalorar los residuos por su varianza inversa ajustada . Para la regresión logística esto es
2) También típicamente cuando tienes puntos que tienen una distancia de Cook mayor a 4 / n, ¿los eliminas? Si los elimina, ¿cómo puede saber si el modelo con los puntos eliminados es mejor?
Nunca elimino puntos basados en análisis de sensibilidad. Si hago una muestra aleatoria de 100 personas y sus ingresos y 1 persona es multimillonaria, entonces mi suposición más segura es que 1 multimillonario representa 1/100 de la población.
Estoy de acuerdo con el comentario de AdamO anterior en general, suponiendo que 1 billonario representa 1/100 de la población está totalmente bien. Sin embargo, si la presencia del 1 billonario distorsiona tanto los datos que la predicción para las otras 99 personas se ve afectada, eliminaría al 1 billonario. Prefiero estar equivocado con la predicción de un valor atípico que todos los demás.
Dicho esto, si elimina los puntos de datos utilizando los valores D de Cook (es decir, cualquier cosa> 4 / df), podría usar el área bajo las curvas ROC para ambos modelos para verificar la mejora.