Aplicando regresión logística con baja tasa de eventos

Tengo un conjunto de datos en el que la tasa de eventos es muy baja (40,000 de ). Estoy aplicando regresión logística en esto. He tenido una discusión con alguien donde se descubrió que la regresión logística no daría una buena matriz de confusión en datos de tan baja tasa de eventos. Pero debido al problema comercial y la forma en que se ha definido, no puedo aumentar el número de eventos de 40,000 a un número mayor, aunque estoy de acuerdo en que puedo eliminar alguna población no existente.$12\cdot10^5$

Cuéntame tu opinión sobre esto, específicamente:

1. ¿La precisión de la regresión logística depende de la tasa de eventos o hay una tasa mínima de eventos que se recomienda?
2. ¿Existe alguna técnica especial para los datos de baja tasa de eventos?
3. ¿Eliminar mi población sin eventos sería bueno para la precisión de mi modelo?

Soy nuevo en el modelado estadístico, así que perdone mi ignorancia y aborde cualquier problema asociado en el que pueda pensar.

Gracias,

Voy a responder sus preguntas fuera de servicio:

3 ¿Eliminar mi población sin eventos sería bueno para la precisión de mi modelo?

Cada observación proporcionará información adicional sobre el parámetro (a través de la función de probabilidad). Por lo tanto, no tiene sentido eliminar datos, ya que simplemente estaría perdiendo información.

1 ¿La precisión de la regresión logística depende de la tasa de eventos o hay una tasa mínima de eventos que se recomienda?

Técnicamente, sí: una observación rara es mucho más informativa (es decir, la función de probabilidad será más pronunciada). Si su índice de eventos fuera 50:50, obtendría bandas de confianza mucho más ajustadas (o intervalos creíbles si está siendo bayesiano) por la misma cantidad de datos . Sin embargo, no puede elegir su tasa de eventos (a menos que esté haciendo un estudio de casos y controles), por lo que tendrá que conformarse con lo que tiene.

2 ¿Existe alguna técnica especial para los datos de baja tasa de eventos?

El mayor problema que puede surgir es la separación perfecta : esto ocurre cuando alguna combinación de variables da todos los no eventos (o todos los eventos): en este caso, las estimaciones del parámetro de máxima verosimilitud (y sus errores estándar) se acercarán al infinito (aunque generalmente el algoritmo se detendrá de antemano). Hay dos posibles soluciones:

a) eliminar predictores del modelo: aunque esto hará que su algoritmo converja, eliminará la variable con el mayor poder explicativo, por lo que esto solo tiene sentido si su modelo estaba sobreajustado para comenzar (como ajustar demasiadas interacciones complicadas) .

b) utilice algún tipo de penalización, como una distribución previa, que reducirá las estimaciones a valores más razonables.

Hay una mejor alternativa para eliminar no eventos para datos temporales o espaciales: puede agregar sus datos a través del tiempo / espacio, y modelar los recuentos como Poisson. Por ejemplo, si su evento es "la erupción volcánica ocurre el día X", entonces no muchos días tendrán una erupción volcánica. Sin embargo, si agrupa los días en semanas o meses, por ejemplo, "número de erupciones volcánicas en el mes X", habrá reducido el número de eventos y más eventos tendrán valores distintos de cero.