¿Cuál es la relación entre la distribución Beta y el modelo de regresión logística?

Mi pregunta es: ¿Cuál es la relación matemática entre el distribución Beta y los coeficientes del modelo de regresión logística ?

Para ilustrar: la función logística (sigmoidea) viene dada por

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

y se usa para modelar probabilidades en el modelo de regresión logística. Sea $A$ un resultado dicotómico $(0,1)$ y $X$ una matriz de diseño. El modelo de regresión logística viene dado por

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Nota $X$ tiene una primera columna de constante $1$ (intersección) y $\beta$ es un vector de columna de coeficientes de regresión. Por ejemplo, cuando tenemos un regresor (estándar-normal) $x$ y elegimos $\beta_0=1$ (intercepción) y $\beta_1=1$ , podemos simular la 'distribución de probabilidades' resultante.

Este gráfico recuerda la distribución Beta (al igual que los gráficos para otras opciones de $\beta$ ) cuya densidad viene dada por

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

Uso de máxima verosimilitud o métodos de momentos es posible estimar y de la distribución de . Por lo tanto, mi pregunta se reduce a: ¿cuál es la relación entre las elecciones de y y ? Esto, para empezar, aborda el caso bivariado dado anteriormente. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— tomka
fuente

Me preguntaba esto hace 3 horas en mi clase de estadísticas bayesianas

— alquimista el

Respuestas:

Beta es una distribución de valores en el rango que es muy flexible en su forma, por lo que para casi cualquier distribución empírica unimodal de valores en $(0,1)$ $(0,1)$ puede encontrar fácilmente los parámetros de dicha distribución beta que "se asemeja" a la forma de la distribución.

Tenga en cuenta que la regresión logística le proporciona probabilidades condicionales , mientras que en su gráfica nos presenta la distribución marginal $\Pr(Y=1\mid X)$ de las probabilidades predichas. Esas son dos cosas diferentes de las que hablar.

No existe una relación directa entre los parámetros de regresión logística y los parámetros de distribución beta cuando se observa la distribución de predicciones del modelo de regresión logística. A continuación puede ver los datos simulados utilizando distribuciones normales, exponenciales y uniformes transformadas mediante la función logística. Además de utilizar exactamente los mismos parámetros de regresión logística (es decir, ), las distribuciones de las probabilidades predichas son muy diferentes. Por lo tanto, la distribución de las probabilidades predichas depende no solo de los parámetros de regresión logística, sino también de las distribuciones de y no existe una relación simple entre ellas. $\beta_0 = 0, \beta_1 = 1$ $X$

Como beta es una distribución de valores en , no se puede usar para modelar datos binarios como lo hace la regresión logística. Se puede usar para modelar probabilidades , de tal manera que usamos la regresión beta (ver también aquí y aquí ). Entonces, si está interesado en el comportamiento de las probabilidades (entendido como variable aleatoria), puede usar la regresión beta para tal fin. $(0,1)$

— Tim
fuente

Entonces, si Beta puede aproximar cualquier distribución, ¿no debería haber una relación entre sus parámetros y

β

$\beta$

— tomka

@tomka pero la distribución depende de la distribución de sus datos y de los parámetros, por lo que incluso si existe tal relación es muy complicada. Obviamente no existe una relación directa entre los parámetros de regresión y los parámetros de distribución beta. Intente simular predicciones de regresión logística bajo los mismos parámetros usando diferentes distribuciones para

, la distribución marginal será diferente en cada caso.

X

$X$

— Tim

La distribución beta no es tan flexible: no puede aproximarse a distribuciones multimodales.

— Marcus PS

@ MarcusPS Lo dejé más claro.

— Tim

@MarcusPS excepto el caso especial de distribuciones multimodales con modos en 0 y 1 ...

— Ben Bolker

La regresión logística es un caso especial de un modelo lineal generalizado (GLM). En este caso particular de datos binarios, la función logística es la función de enlace canónico que transforma el problema de regresión no lineal en un problema lineal. Los GLM son algo especiales, en el sentido de que se aplican solo a distribuciones en la familia exponencial (como la distribución Binomial).

En la estimación bayesiana, la distribución Beta es el conjugado anterior a la distribución binomial, lo que significa que una actualización bayesiana a una Beta anterior, con observaciones binomiales, dará como resultado una Beta posterior. Entonces, si tiene recuentos para observaciones de datos binarios, puede obtener una estimación bayesiana analítica de los parámetros de la distribución binomial mediante el uso de un Beta anterior.

Entonces, en la línea de lo que ha dicho otro, no creo que haya una relación directa, pero tanto la distribución Beta como la regresión logística tienen relaciones cercanas con la estimación de los parámetros de algo que sigue una distribución binomial.

— Marcus PS
fuente

Ya hice +1 por mencionar la perspectiva bayesiana, pero tenga en cuenta que en el caso del modelo de regresión no usamos el modelo beta-binomial y la distribución beta en general no se utiliza como un parámetro previo, al menos en el caso de la logística bayesiana típica regresión . Entonces esto no se traduce directamente al modelo beta-binomial.

— Tim

$P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ $P(A=1|X)$

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

Puede verificar los resultados dados anteriormente en R :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Francis
fuente

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

@tomka Logarithm put

1 / x - 1 > 0

$1/x-1>0$ , entonces

x \in (0, 1)

$x\in(0,1)$ . también

f

$f$ no es pdf del estándar normal, tenga en cuenta el denominador.

— Francis el

¿Por qué el CLT tendría alguna aplicabilidad a la distribución de una variable regresora?

X

$X$ ??

— whuber

@whuber: parece que he confundido algo, eliminé esa parte.

— Francis el