¿Diferencia entre análisis de regresión y análisis de varianza?

21

Ahora mismo estoy aprendiendo sobre el análisis de regresión y el análisis de varianza.

En el análisis de regresión, tiene una variable fija y desea saber cómo va la variable con la otra variable.

En el análisis de varianza, desea saber, por ejemplo: si este alimento animal específico influye en el peso de los animales ... SO uno fijó la var y la influencia en los otros ...

¿Está bien o mal? Por favor, ayúdame ...

regression

— Le Max
fuente

25

Suponga que su conjunto de datos consta de un conjunto para desea ver la dependencia de de . $(x_i,y_i)$ $i=1,\ldots,n$ $y$ $x$

Supongamos que encontrar los valores de y de y que minimizar la suma de cuadrados residual Luego se toma para ser el predicho -valor para cualquier (no necesariamente ya se ha observado) -valor. Eso es regresión lineal. $\hat\alpha$ $\hat\beta$ $\alpha$ $\beta$

\sum_{yo = 1}^{norte} (y_{yo} - (α + β X_{yo}))^{2} .

$\sum_{i=1}^n (y_i - (\alpha+\beta x_i))^2.$

\hat{y} = \hat{α} + \hat{β} x

$\hat y = \hat\alpha+ \hat\beta x$

y

$y$

x

$x$

Ahora considere descomponer la suma total de cuadrados congrados de libertad, en partes "inexplicables" "explicado" y:

\sum_{yo = 1}^{norte} (y_{yo} - \bar{y})^{2} dónde \bar{y} = \frac{y_{1} + \dots + y_{norte}}{norte}

$\sum_{i=1}^n (y_i - \bar y)^2 \qquad\text{where }\bar y = \frac{y_1+\cdots+y_n}{n}$

n - 1

$n-1$

con

\underset{explicado}{\underset{⏟}{\sum_{yo = 1}^{norte} ((\hat{α} + \hat{β} X_{yo}) - \bar{y})^{2}}} + \underset{inexplicable}{\underset{⏟}{\sum_{yo = 1}^{norte} (y_{yo} - (\hat{α} + \hat{β} X_{yo}))^{2}}} .

$\underbrace{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2}_{\text{explained}}\ +\ \underbrace{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2}_{\text{unexplained}}.$

1

$1$ y

grados de libertad, respectivamente. Eso es el análisis de la varianza, y uno a continuación considera cosas como estadísticas F

n - 2

$n-2$

Estaestadística F prueba la hipótesis nula

.

F = \frac{\sum_{yo = 1}^{norte} ((\hat{α} + \hat{β} X_{yo}) - \bar{y})^{2} / / 1}{\sum_{yo = 1}^{norte} (y_{yo} - (\hat{α} + \hat{β} X_{yo}))^{2} / / (norte - 2)} .

$F = \frac{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2/1}{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2/(n-2)}.$

β = 0

$\beta=0$

y = α + β_{yo}

$y = \alpha + \beta_i$

i

$i$

k

$k$

k - 1

$k-1$

n - k

$n-k$

Un par de puntos adicionales:

Para algunos matemáticos, el relato anterior puede hacer parecer que todo el campo es solo lo que se ve arriba, por lo que puede parecer misterioso que tanto la regresión como el análisis de varianza sean áreas de investigación activas. Hay muchas cosas que no encajan en una respuesta apropiada para publicar aquí.
$y=\alpha+\beta x$

— Michael Hardy
fuente

55

@MichaelHardy Si bien la descomposición de la varianza en componentes en regresión a menudo se denomina tabla de análisis de varianza. Eso no es lo que los estadísticos comúnmente quieren decir con ANOVA. Los métodos 1) regresión lineal, 2) análisis de varianza y 3) análisis de covarianza son categorías bajo el encabezado general del modelo lineal general, la regresión lineal involucra covariables continuas, ANOVA incluye solo grupos discretos y ANCOVA es una combinación de covariables continuas y grupos discretos

— Michael R. Chernick

1

Informalmente, a veces se habla de esa manera, y mi respuesta no dijo eso, pero se debe saber que (1) la estimación de coeficientes de mínimos cuadrados se realiza en cualquiera de los dos problemas (predictores continuos o categóricos) y una descomposición de la suma de cuadrados con sus correspondientes grados de libertad --- una tabla anova --- también se hace en cualquiera de los dos problemas.

— Michael Hardy

55

Con esa concesión, debes admitir que mi respuesta no tiene nada de malo. Además, los términos ANOVA, ANCOVA y regresión no son términos informales. Son muy claramente formales y es incorrecto decirle al OP que ANOVA es la descomposición de la varianza en la regresión. El hecho de que un procedimiento estadístico en el que alguien llamado anova pueda hacer cualquier modelo lineal no pruebe nada. En SAS proc reg solo se trata de regresión, proc anova solo se ocupa del análisis de varianza tal como lo definí y proc glm es el que hace ambas cosas.

— Michael R. Chernick

1

.... y en R, "lm (....)" da coeficientes de regresión en ambas situaciones, y "anova (lm (....))" da la descomposición de la suma de cuadrados y grados de libertad, en ambas situaciones En cuanto a "tengo que conceder", he puesto algunos comentarios debajo de su respuesta. Ciertamente, si va a mencionar la regresión logística, sería más claro si dijera que tan pronto como no esté hablando de regresión lineal, la palabra "regresión" es un término muy amplio que puede incluir muchas cosas.

— Michael Hardy

@MichaelHardy Siéntase libre de comentar sobre mi pregunta planteada en el sitio stats.SE. Creo que su respuesta y mi respuesta a esta pregunta son correctas de alguna manera. Ciertamente me opongo a que mi respuesta sea rechazada. Quería obtener las opiniones de otros en la comunidad de estadísticas sobre esto.

— Michael R. Chernick

5

La principal diferencia es la variable de respuesta. Mientras que la regresión logística se ocupa de una respuesta binaria en el análisis de regresión lineal y también de la regresión no lineal, la variable de respuesta es continua. Tiene una variable (s) (también conocida como covariable (s)) que tiene una relación funcional con la variable de respuesta continua. En el análisis de varianza, la respuesta es continua pero pertenece a unas pocas categorías diferentes (por ejemplo, grupo de tratamiento y grupo de control). En el análisis de varianza, busca la diferencia en la respuesta media entre grupos. En la regresión lineal, observa cómo cambia la respuesta a medida que cambian las covariables. Otra forma de ver la diferencia es decir que en la regresión las covariables son continuas, mientras que en el análisis de varianza son un conjunto discreto de grupos.

— Michael R. Chernick
fuente

66

Hubiera tomado la pregunta como la diferencia entre la regresión lineal y el análisis de varianza; traer regresión logística parece alejarse del tema. Sin embargo, tu última oración es incorrecta. El análisis de varianza se puede hacer independientemente de si los predictores son discretos o continuos.

— Michael Hardy

1

De hecho, hay predictores en el análisis de varianza. En su ejemplo, el predictor es categórico, pero no tiene por qué ser así. El análisis de varianza no solo considera problemas que involucran "grupos discretos".

— Michael Hardy

3

@MichaelHardy Estoy dando un paso atrás porque cuando reviso mis enciclopedias estadísticas encuentro referencias al análisis de varianza en términos de descomposición de varianza en el modelo lineal general. Pero el término tiene dos significados y, con bastante frecuencia, ANOVA se distingue de ANCOVA y regresión en la forma que describí. Por lo tanto, el OP debe tener en cuenta ambos términos, el que se refiere a la inferencia sobre los componentes de varianza en el modelo lineal general y el que se refiere a la subclase de modelos lineales que involucran solo grupos discretos.

— Michael R. Chernick

2

Pienso que el uso que estás usando es informal. Parece raro hablar de regresión logística sin decir que es sólo uno de una variedad de "regresiones", cuando se utiliza este término en el sentido amplio de la estimación de un valor medio o de predicción de una variable dada otra y, a continuación, distinguiendo que a partir del análisis de la varianza . Pero la cuestión de la diferencia entre los modelos de regresión lineal y el análisis de varianza parece una pregunta más sensata. Pero a menudo hay incertidumbres sobre lo que pretendía el póster original.

— Michael Hardy

77

Cualesquiera que hayan sido tus intenciones, considero que el comentario " Tengo un doctorado en estadística, ... " es inapropiado. En primer lugar, no hace nada para resolver el problema en cuestión. Apelar a la autoridad es un enfoque muy utilizado, pero muy equivocado, para probar las cosas. Apelar a su propia autoridad es aún más problemático. También se puede interpretar como una muestra (sin darse cuenta o de otra manera) de una falta de respeto por @MichaelHardy (el personal al que se dirige), que también tiene un doctorado en estadísticas de un programa de buena reputación.

— cardenal

2

El análisis de varianza (ANOVA) es un cuerpo de método estadístico para analizar observaciones que se supone son de la estructura.

$y_i=\beta_1x_{i1}+\beta_2x_{i2}+\dots+\beta_px_{ip}+e_i,~i=1(1)n$ $p$ $\beta_1,\beta_2,\dots,\beta_p$ $e_1,e_2,\dots,e_n$ $x_{ij}$ $e_i$ $0$ $\sigma^2$

$E(y^{n \times 1})=X\beta,D(y)=\sigma^2I_n$ Donde D es matriz de dispersión o matriz de varianza-covarianza.

$x_{ij}$ $\beta_j$ $x_{ij}$ $\beta_j$ $0$ $1$

Si el { $x_{ij}$ } son valores tomados en las observaciones, no por variables de contador sino por variables continuas como $t$ = tiempo, $T$ = temperatura, $t^2,e^{-T}$ , etc., entonces tenemos un caso de análisis de regresión *. En general, en el análisis de regresión todos los factores son cuantitativos y se tratan cuantitativamente.

Principalmente, estos dos son dos tipos de análisis.

— Argha
fuente

¿Qué significa la notación?

i = 1 (1) n

$i=1(1)n$ ¿media?

1

i = 1 (1) n

$i=1(1)n$ medio

i = 1, 2, \dots, n

$i=1,2,\dots,n$

— Argha

-1

En el análisis de regresión, tiene una variable fija y desea saber cómo va la variable con la otra variable.

En el análisis de varianza, usted quiere saber, por ejemplo: si este alimento específico para animales influye en el peso de los animales ... SO uno fijó la var y la influencia en los demás.

— Aiza
fuente

1

Hola Aiza, bienvenido a SE. Necesita editar esto para dar más contexto y dejar en claro cuál es realmente la pregunta.

— Pare las preguntas de cierre rápido el