¿Cuál es la diferencia entre regresión lineal y regresión logística?

122

¿Cuándo usarías cada uno?

regression logistic linear-model

— B Seven
fuente

En el modelo de regresión lineal, la variable dependiente

y

$y$ se considera continua, mientras que en la regresión logística es categórica, es decir, discreta. En la aplicación, el primero se usa en configuraciones de regresión, mientras que el segundo se usa para clasificación binaria o clasificación de varias clases (donde se llama regresión logística multinomial).

— Pardis

Aunque está escrito en un contexto diferente, puede ayudarte leer mi respuesta aquí: Diferencia entre modelos logit y probit , que contiene mucha información sobre lo que está sucediendo en la regresión logística que puede ayudarte a entenderlos mejor.

— gung

Todas las respuestas anteriores son correctas, pero hay razones por las que podría favorecer un modelo de regresión lineal incluso cuando su resultado sea una dicotomía. He escrito sobre estas razones aquí: statisticshorizons.com/linear-vs-logistic

— Paul von Hippel

Respuestas:

111

$Y=b_0+∑(b_i X_i)+\epsilon$ $Y$ $X_i$ $\epsilon$ $Y_j$ $Y_j=b_0 + \sum{(b_i X_{ij})+\epsilon_j}$

$Y$

$Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

$X_i$ $b_i$ $Y$ $X_i$ $Odds={P(Y=1) \over P(Y=0)}={P(Y=1) \over 1-P(Y=1)}$ ${\Delta Odds}= e^{b_i}$ $\Delta Odds$ $Odds(X_i+1)\over Odds(X_i)$ $Y=1$ $e^{b_i}$ $X_i$

Ejemplo: si quisiera ver cómo el índice de masa corporal predice el colesterol en la sangre (una medida continua), usaría la regresión lineal como se describe en la parte superior de mi respuesta. Si quisiera ver cómo el IMC predice las probabilidades de ser diabético (un diagnóstico binario), usaría la regresión logística.

— DocBuckets
fuente

ϵ_{i}

$\epsilon_i$

Me parece que Bill tenía la intención de escribir, es decir (abreviatura latina para eso es) en lugar de ei

— Michael Chernick

Pero el εi en la suma del exponente no debería estar allí. Parece que el término de ruido en el modelo fue llevado accidentalmente allí. La única suma debe ser sobre el bis que representa los coeficientes p para las covariables p.

— Michael Chernick

P (Y = 1)

$P(Y=1)$

P (Y = 1) = \frac{1}{1 + \exp {- X β}},

$P(Y=1) = \frac{1}{1 + \exp \{-X \boldsymbol{\beta} \} },$

P (Y = 1) = \frac{1}{1 + \exp {- (X β + ε)}}

$P(Y=1) = \frac{1}{1 + \exp \{ -(X \boldsymbol{\beta}+\varepsilon) \} }$

La regresión logística de @samthebrand no es binaria per se. Se puede usar para modelar datos con una respuesta binaria a través de probabilidades que oscilan entre 0 y 1. Ir a conectar descaradamente mi publicación de blog sobre esto, lo que debería aclarar su confusión.

— Ben

La regresión lineal se utiliza para establecer una relación entre las variables dependientes e independientes, lo cual es útil para estimar la variable dependiente resultante en caso de cambio de variable independiente. Por ejemplo:

Usando una regresión lineal, se encuentra que la relación entre Rain (R) y Umbrella Sales (U) es - U = 2R + 5000

Esta ecuación dice que por cada 1 mm de lluvia, hay una demanda de 5002 paraguas. Entonces, usando la regresión simple, puede estimar el valor de su variable.

La regresión logística, por otro lado, se utiliza para determinar la probabilidad de un evento. Y este evento se captura en formato binario, es decir, 0 o 1.

Ejemplo: quiero determinar si un cliente comprará mi producto o no. Para esto, ejecutaría una Regresión logística en los datos (relevantes) y mi variable dependiente sería una variable binaria (1 = Sí; 0 = No).

En términos de representación gráfica, la regresión lineal proporciona una línea lineal como salida, una vez que los valores se trazan en el gráfico. Mientras que, la regresión logística da una línea en forma de S

Referencia de Mohit Khurana.

— Vijay Ram
fuente

Re: "La regresión lineal se usa para establecer una relación entre las variables dependientes e independientes" - esto también es cierto sobre la regresión logística - es solo que la variable dependiente es binaria.

— Macro

La regresión logística no es solo para predecir un evento binario ( clases). Se puede generalizar a clases (regresión logística multinomial)

2

$2$

k

$k$

— tgy

DocBuckets y Pardis han resuelto las diferencias, pero quiero agregar una forma de comparar su rendimiento no mencionado.

La regresión lineal generalmente se resuelve minimizando el error de mínimos cuadrados del modelo a los datos, por lo tanto, los errores grandes se penalizan de forma cuadrática. La regresión logística es todo lo contrario. El uso de la función de pérdida logística hace que grandes errores sean penalizados a una asintóticamente constante.

Considere la regresión lineal en resultados categóricos {0,1} para ver por qué esto es un problema. Si su modelo predice que el resultado es 38 cuando la verdad es 1, no ha perdido nada. La regresión lineal trataría de reducir ese 38, la logística no lo haría (tanto).

— J. Abrahamson
fuente

¿Entonces, las situaciones / casos que son penalizados en una logística, es decir, en qué casos tendríamos un mal ajuste?

— MSIS

Todo lo contrario: siempre que las desviaciones más grandes del ajuste realmente producen peores resultados. Por ejemplo, la regresión logística es buena para mantenerte golpeando un tablero de dardos, pero no puede hacer que una diana se vea bien. O, de manera similar, piensa que una falta cercana al tablero es lo mismo que pegar a tu vecino.

— J. Abrahamson

Gran respuesta. ¿Se ha realizado alguna investigación sobre cuánto perjudica el rendimiento del modelo? Quiero decir si se usó una regresión lineal para predecir la respuesta = {0,1} en lugar de una regresión logística.

— Tagar