12

Estoy estudiando cómo construir un intervalo de confianza del 95% para odds ratio a partir de los coeficientes obtenidos en la regresión logística. Entonces, considerando el modelo de regresión logística,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

tal que $x = 0$ para el grupo de control $x = 1$ para el grupo de casos.

Ya he leído que la forma más simple es construir un IC del 95% para $\beta$ luego aplicamos la función exponencial, es decir,

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Mis preguntas son:

¿Cuál es la razón teórica que justifica este procedimiento? Sé que $\mbox{odds ratio} = \exp\{\beta\}$ y los estimadores de máxima verosimilitud son invariables. Sin embargo, no sé la conexión entre estos elementos.
¿Debería el método delta producir el mismo intervalo de confianza del 95% que el procedimiento anterior? Usando el método delta,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Luego,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Si no, ¿cuál es el mejor procedimiento?

— Márcio Augusto Diniz
fuente

1

También me gusta bootstrap para CI, si tengo valores de parámetros o datos de entrenamiento de tamaño suficiente.

— EngrStudent - Reinstale a Monica el

2

Hay una mejor manera de hacer esto, vea stats.stackexchange.com/questions/5304/… para más detalles

— mdewey

7

La justificación del procedimiento es la normalidad asintótica del MLE para y los resultados de los argumentos relacionados con el Teorema del límite central. $\beta$
El método Delta proviene de una expansión lineal (es decir, Taylor de primer orden) de la función alrededor del MLE. Posteriormente apelamos a la normalidad asintótica e imparcialidad del MLE.

Asintóticamente, ambos dan la misma respuesta. Pero prácticamente, preferirías el que parece más normal. En este ejemplo, preferiría el primero porque es probable que este último sea menos simétrico.

— Amir
fuente

3

Una comparación de los métodos de intervalos de confianza en un ejemplo de ISL

El libro "Introducción al aprendizaje estadístico" de Tibshirani, James, Hastie proporciona un ejemplo en la página 267 de intervalos de confianza para el grado de regresión logística polinómica 4 en los datos salariales . Citando el libro:

Modelamos el evento binario usando regresión logística con un polinomio de grado 4. La probabilidad posterior ajustada de salario superior a $ 250,000 se muestra en azul, junto con un intervalo de confianza del 95% estimado. $wage>250$

A continuación se muestra un resumen rápido de dos métodos para construir tales intervalos, así como comentarios sobre cómo implementarlos desde cero

Intervalos de transformación de Wald / Endpoint

Calcule los límites superior e inferior del intervalo de confianza para la combinación lineal (utilizando el CI de Wald) $x^T\beta$
Aplique una transformación monotónica a los puntos finales para obtener las probabilidades. $F(x^T\beta)$

Dado que es una transformación monotónica de $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Concretamente, esto significa calcular y luego aplicar la transformación logit al resultado para obtener los límites inferior y superior: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Calculando el error estándar

La teoría de máxima verosimilitud nos dice que la varianza aproximada de se puede calcular usando la matriz de covarianza de los coeficientes de regresión usando $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Defina la matriz de diseño y la matriz como $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

donde es el valor de la ésimo variable para los th observaciones y representa la probabilidad predicha para la observación . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

La matriz de covarianza se puede encontrar como: y el error estándar como $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

Los intervalos de confianza del 95% para la probabilidad pronosticada se pueden representar como

Intervalos de confianza del método Delta

El enfoque consiste en calcular la varianza de una aproximación lineal de la función y usarla para construir intervalos de confianza de muestra grandes. $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Donde es el gradiente y la matriz de covarianza estimada. Tenga en cuenta que en una dimensión: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Donde es la derivada de . Esto se generaliza en el caso multivariante. $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

En nuestro caso, F es la función logística (que denotaremos ) cuya derivada es $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Ahora podemos construir un intervalo de confianza utilizando la varianza calculada anteriormente.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

En forma vectorial para el caso multivariante

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Tenga en cuenta que representa un único punto de datos en , es decir, una sola fila de la matriz de diseño $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Una conclusión abierta

Una mirada a las gráficas de QQ normal tanto para las probabilidades como para las probabilidades de registro negativas muestra que ninguna de las dos se distribuye normalmente. ¿Podría esto explicar la diferencia?

Fuente:

— Xavier Bourret Sicotte
fuente

1

Para la mayoría de los propósitos, la forma más simple es probablemente la mejor, como se discute en el contexto de una transformación de registro en esta página . Piense en su variable dependiente como analizada en la escala logit, con pruebas estadísticas realizadas e intervalos de confianza (IC) definidos en esa escala logit. La transformación inversa a odds ratio es simplemente poner esos resultados en una escala que un lector pueda comprender más fácilmente. Esto también se hace, por ejemplo, en el análisis de supervivencia de Cox, donde los coeficientes de regresión (y el IC del 95%) se exponen para obtener las razones de riesgo y su IC.

— EdM
fuente

Diferentes formas de producir un intervalo de confianza para odds ratio a partir de la regresión logística

Una comparación de los métodos de intervalos de confianza en un ejemplo de ISL

Intervalos de transformación de Wald / Endpoint

Calculando el error estándar

Intervalos de confianza del método Delta

Una conclusión abierta