Interpretar los coeficientes de regresión logística con un término de regularización.

Entiendo que los coeficientes de una ecuación logística se pueden interpretar como una relación impar. Si se agrega un término de regularización para controlar el sobreajuste, ¿cómo cambia esto la interpretación de los coeficientes?

Los coeficientes que se devuelven estándar con un ajuste de regresión logística no son odds ratios. Representan el cambio en las probabilidades de registro de 'éxito' asociado con un cambio de una unidad en su variable respectiva, cuando todo lo demás se mantiene igual. Si expones un coeficiente, entonces puedes interpretar el resultado como una razón de probabilidad (por supuesto, esto no es cierto para la intersección). Más información sobre esto se puede encontrar en mi respuesta aquí: Interpretación de predicciones simples a odds ratios en regresión logística .

Agregar una penalización al ajuste del modelo (potencialmente) cambiará el valor ajustado de los coeficientes estimados, pero no cambia la interpretación de los coeficientes en el sentido discutido en su pregunta / anterior. *

* (Me pregunto si la confusión sobre esta declaración es el origen del reciente voto negativo). Para ser más claro: el coeficiente ajustado en $X_1$, $\hat\beta_1$ representa el cambio en las probabilidades de éxito del registro asociadas con un cambio de 1 unidad en $X_1$si no se utiliza un término de penalización para ajustar el modelo y si se utiliza un término de penalización para ajustar el modelo. En ninguno de los casos es la razón de posibilidades. Sin embargo,$\exp(\hat\beta_1)$ es el odds ratio asociado con un cambio de 1 unidad en $X_1$, de nuevo independientemente de si se utilizó un término de penalización para adaptarse al modelo. Un modelo equipado con un término de penalización puede interpretarse dentro de un marco bayesiano, pero no necesariamente tiene que serlo. Además, incluso si es así,$\hat\beta_1$ todavía representa el cambio en las probabilidades de éxito del registro asociado con un cambio de 1 unidad en $X_1$ No es un cociente de probabilidades.

La regresión lineal regularizada y la regresión logística regularizada se pueden interpretar muy bien desde un punto de vista bayesiano. El parámetro de regularización corresponde a una elección de distribución previa en los pesos, por ejemplo, algo así como una distribución normal centrada en cero con desviación estándar dada por la inversa del parámetro de regularización. Luego, a través de sus datos de entrenamiento, estas distribuciones se actualizan para finalmente proporcionarle las distribuciones posteriores en los pesos.

Entonces, por ejemplo, un parámetro de regularización más grande significa que, como previo, pensamos que los pesos deberían estar más cerca de cero, por lo tanto, con esta configuración es menos probable que las distribuciones posteriores sean compatibles lejos de cero, lo que concuerda con La intuición de lo que se supone que debe hacer la regularización.

Para la mayoría de las implementaciones de regresión regularizada, el resultado final de los pesos es solo el valor esperado de las distribuciones posteriores.

Por cierto, la regresión no regularizada se puede interpretar básicamente de la misma manera: es el límite cuando el parámetro de regularización llega a cero.