Cómo calcular los errores estándar de los coeficientes de una regresión logística

Estoy usando Pyikon-scikit-learn para entrenar y probar una regresión logística.

scikit-learn devuelve los coeficientes de regresión de las variables independientes, pero no proporciona los errores estándar de los coeficientes. Necesito estos errores estándar para calcular una estadística de Wald para cada coeficiente y, a su vez, comparar estos coeficientes entre sí.

He encontrado una descripción de cómo calcular los errores estándar para los coeficientes de una regresión logística ( aquí ), pero es algo difícil de seguir.

Si conoce una explicación simple y sucinta de cómo calcular estos errores estándar y / o puede proporcionarme uno, ¡realmente lo agradecería! No me refiero a un código específico (aunque no dude en publicar cualquier código que pueda ser útil), sino más bien una explicación algorítmica de los pasos involucrados.

¿Su software le proporciona una matriz de covarianza de parámetros (o varianza-covarianza)? Si es así, los errores estándar son la raíz cuadrada de la diagonal de esa matriz. Probablemente desee consultar un libro de texto (o google para notas de conferencias universitarias) sobre cómo obtener la matriz para modelos lineales y lineales generalizados.$V_\beta$

Los errores estándar de los coeficientes del modelo son las raíces cuadradas de las entradas diagonales de la matriz de covarianza. Considera lo siguiente:

• Matriz de diseño:

, dondexi,jes el valor dejEl predictor de lasobservacionesi.$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(NOTA: Esto supone un modelo con una intersección).

• , donde π irepresenta la probabilidad pronosticada de pertenencia a la clase para la observacióni.$\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

La matriz de covarianza se puede escribir como:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Esto se puede implementar con el siguiente código:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Dicho todo esto, statsmodelsprobablemente será un mejor paquete para usar si desea acceder a MUCHOS diagnósticos "listos para usar".

Si estás interesado en hacer inferencia, entonces probablemente quieras echar un vistazo a los modelos de estadísticas . Los errores estándar y las pruebas estadísticas comunes están disponibles. Aquí hay un ejemplo de regresión logística .