Cómo calcular manualmente la intersección y el coeficiente en regresión logística

Actualmente estoy estudiando sobre Regresión logística. Pero me estoy en el cálculo de la intercepción ( ) y el coeficiente ( ). Lo he estado buscando a través de Internet, pero solo obtengo tutoriales usando Microsoft Excel o funciones integradas en R. Escuché que se puede resolver con Maximum Likelihood, pero no entiendo cómo usarlo, porque no No tiene antecedentes estadísticos. ¿Alguien puede darme una breve explicación y simulación para calcular los coeficientes manualmente? $\beta_0$ $\beta_1$

— Kadek Dwi Budi Utama
fuente

¿Entiendes la optimización en un sentido general? ¿Como encontrar el mínimo o el máximo de una función?

— probabilidadislogica

Realmente deseo que más personas hagan preguntas como esta.

— Maddenker

Desafortunadamente, a diferencia de la regresión lineal, no existe una fórmula simple para la estimación de máxima probabilidad de regresión logística. Tendrá que realizar algún tipo de algoritmo de optimización, como descenso de gradiente o mínimos cuadrados reponderados de forma iterativa .

— Dougal
fuente

Eso es generalmente cierto. Existe una excepción cuando la única variable explicativa es categórica, o cuando todas las variables explicativas son categóricas y todas las interacciones (de orden superior) se incluyen en el modelo. En ese caso, los coeficientes son transformaciones de las medias.

— Maarten Buis

¿Tienes una fuente para esto?

— information_interchange

Me gustaría proponer mi método y espero que ayude.

Para calcular los coeficientes manualmente, debe tener algunos datos, o decir restricciones. En la regresión logística, en realidad es cómo se define la función logística a través de la entropía máxima y los multiplicadores de lagrange, esta restricción debe cumplirse con otras dos: $E_p f_j = E_{\hat p}f_j$ . Es decir, la expectativa del modelo debe coincidir con la expectativa observada , que se ha ilustrado en este documento . Es por eso que la función logit como función de enlace en la regresión logística también se denomina función media.

Tomemos, por ejemplo, la siguiente tabla de referencias cruzadas que muestra cuántos hombres / mujeres hay en la clase de honor.

           |         female
       hon |      male     female |     Total  
-----------+----------------------+----------
         0 |        74         77 |       151 
         1 |        17         32 |        49 
-----------+----------------------+----------
     Total |        91        109 |       200

Como se ha mencionado más arriba $\sum_i y_i x_{ij} = \sum_i p_i x_{ij}$ sostiene. El lado izquierdo (LHS) es la expectativa de las observaciones (y en la muestra) y el lado derecho (RHS) es la expectativa del modelo.

Asumiendo que la función es $log(\frac{p}{1-p})=\beta_0 + \beta_1x_i$ o equivalente $p=\frac{1}{1+e^{-(\beta_0+\beta_1 * x_i)}}$ ( $x_i$ representa la característica de que la observación es una mujer, es 1 si la observación es una mujer y 0 en caso contrario), obviamente sabemos que las siguientes dos ecuaciones se mantienen respectivamente cuando $X=1$ y cuando $X=0$ con los datos que se muestran arriba:

\frac{32}{109} = \frac{1}{1 + {mi}^{- (β_{0 0} + β_{1} * 1)}}

$\frac{32}{109} = \frac{1}{1+e^{-(\beta_0+\beta_1 * 1)}}$

\frac{17}{91 91} = \frac{1}{1 + {mi}^{- (β_{0 0} + β_{1} * 0 0)}}

$\frac{17}{91} = \frac{1}{1+e^{-(\beta_0 + \beta_1 * 0)}}$

Entonces la intercepción ( $\beta_0$ ) es -1.47 y el coeficiente ( $\beta_1$ ) es 0.593. Puedes obtenerlo manualmente.

En la misma línea, puede calcular manualmente los coeficientes de otros modelos de regresión logística (se aplica también a la regresión softmax pero está fuera del alcance de esta pregunta) si se proporcionan suficientes datos.

Espero tener razón, si no, házmelo saber. Gracias.

— Lerner Zhang
fuente

¿Alguien podría decirme por qué recibo un voto negativo? Gracias.

— Lerner Zhang el

No soy el voto negativo, así que no puedo decir con certeza. Pero creo que podría mejorar su respuesta 1) relacionando sus cálculos con el problema de máxima probabilidad que resuelve la regresión logística, 2) explicando por qué exactamente este ejemplo se puede trabajar a mano pero otros no, 3) ajustando la regresión usando un algoritmo iterativo y mostrando que la respuesta es la misma.

— Matthew Drury

@MatthewDrury He actualizado mi respuesta después de investigar un poco. Por favor, compruebe.

— Lerner Zhang

Hey @Lerner Necesitas multiplicar 1 / (1 + e− (β0 + β1 ∗ 1)) 32 veces y 1 / (1 + e− (β0 + β1 ∗ 0)) 17 veces. No solo usando la suma simple como 32/109.

— Aerin

@BYOR OK, lo revisaré y actualizaré pronto.

— Lerner Zhang