¿Regresión múltiple o coeficiente de correlación parcial? Y las relaciones entre los dos

Ni siquiera sé si esta pregunta tiene sentido, pero ¿cuál es la diferencia entre la regresión múltiple y la correlación parcial (aparte de las diferencias obvias entre correlación y regresión, que no es a lo que apunto)?

Quiero descubrir lo siguiente:
tengo dos variables independientes ( , ) y una variable dependiente ( ). Ahora individualmente, las variables independientes no están correlacionadas con la variable dependiente. Pero para un determinado disminuye cuando disminuye. Entonces, ¿lo analizo mediante regresión múltiple o correlación parcial ?$x_1$$x_2$$y$$x_1$ $y$$x_2$

editar para mejorar mi pregunta: estoy tratando de entender la diferencia entre la regresión múltiple y la correlación parcial. Entonces, cuando disminuye para un dado cuando disminuye, ¿se debe al efecto combinado de y en (regresión múltiple) o se debe a la eliminación del efecto de (correlación parcial)?$y$$x_1$$x_2$$x_1$$x_2$$y$$x_1$

El coeficiente de regresión lineal múltiple y la correlación parcial están directamente vinculados y tienen el mismo significado (valor p). La r parcial es solo otra forma de estandarizar el coeficiente, junto con el coeficiente beta (coeficiente de regresión estandarizado) . Entonces, si la variable dependiente es y las independientes son y entonces y x 1 x $^1$$y$$x_1$$x_2$

Verá que los numeradores son los mismos, lo que indica que ambas fórmulas miden el mismo efecto único de . Trataré de explicar cómo las dos fórmulas son estructuralmente idénticas y cómo no lo son.$x_1$

Suponga que ha estandarizado z (media 0, varianza 1) las tres variables. El numerador es entonces igual a la covarianza entre dos tipos de residuos : los (a) residuos que quedan en la predicción de por [ambas variables estándar] y los (b) residuos que quedan en la predicción de por [ambas variables estándar]. Además, la varianza de los residuos (a) es ; la varianza de los residuos (b) es .x 2 x 1 x 2 1 - r 2 y x 2 1 - r 2 x 1 x $y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

La fórmula para la correlación parcial aparece claramente la fórmula de Pearson simple , como se calcula en este caso entre los residuos (a) y los residuos (b): Pearson , sabemos, es la covarianza dividida por el denominador que es la media geométrica de Dos variaciones diferentes.$r$$r$

El coeficiente estandarizado beta es estructuralmente como Pearson , solo que el denominador es la media geométrica de una varianza con el propio yo . No se contó la varianza de los residuos (a); fue reemplazado por un segundo conteo de la varianza de los residuos (b). Beta es, por lo tanto, la covarianza de los dos residuos en relación con la varianza de uno de ellos (específicamente, el que pertenece al predictor de interés, ). Si bien la correlación parcial, como ya se notó, es esa misma covarianza con respecto a su varianza híbrida . Ambos tipos de coeficientes son formas de estandarizar el efecto de en el entorno de otros predictores.x 1 x $r$$x_1$$x_1$

Algunas consecuencias numéricas de la diferencia. Si R-cuadrado de regresión múltiple de por y resulta ser 1, ambas correlaciones parciales de los predictores con el dependiente también serán 1 valor absoluto (pero las betas generalmente no serán 1). De hecho, como se dijo antes, es la correlación entre los residuos de y los residuos de . Si lo que no es dentro de es exactamente lo que no es dentro de entonces no hay nada dentro de que no sea ni nix 1 x 2 r y x 1 . x 2 x 2 y x 2 x 1 y x 1 x 2 x 2 y 1 - r 2 y x 2 x 1 1 - r 2 x 1 x 2 r y x 1 . x 2 β x 1 y $y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$$y$$x_1$$x_2$ : ajuste completo. Cualquiera sea la cantidad de la parte no explicada (por ) que queda en (el ), si es capturada relativamente alto por la parte independiente de (por el ), el será alto. , por otro lado, solo será alto siempre que la parte inexplicable capturada de sea ​​en sí misma una parte sustancial de .$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$$r_{yx_1.x_2}$$\beta_{x_1}$$y$$y$

De las fórmulas anteriores, se obtiene (y se extiende desde la regresión de 2 predictores a una regresión con un número arbitrario de predictores ) la fórmula de conversión entre beta y r parcial correspondiente:$x_1,x_2,x_3,...$

donde representa la colección de todos los predictores excepto el actual ( ); son los residuos de la regresión de por , y son los residuos de la regresión de por , las variables en ambas regresiones ingresan a ellos estandarizados .$X$$x_1$$e_{y \leftarrow X}$$y$$X$$e_{x_1 \leftarrow X}$$x_1$$X$

Nota: si es necesario para calcular las correlaciones parciales de con cada predictor por lo general no vamos a utilizar esta fórmula requiere hacer dos regresiones adicionales. Más bien, las operaciones de barrido (a menudo utilizados en etapas y todos los subconjuntos de regresión algoritmos) se hará o correlación anti-imagen matriz serán computados.$y$$x$

$^1$ $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ es la relación entre la prima y la normalización de coeficientes en regresión con intercepto.$b$$\beta$

Acabo de toparme con esta banda por casualidad. En la respuesta original, en la fórmula para el factor $\beta_{x_1}$ falta, es decir β x 1 = r y x 1 - r y x 2 r x 1 x $\sqrt{SSY/SSX_1}$ dondeSSY=∑i(yi-ˉy)2ySSX1=∑i(x1i- ˉ x 1)2.