Puede estandarizada

Estoy tratando de interpretar los resultados de un artículo, donde aplicaron regresión múltiple para predecir varios resultados. Sin embargo, los $\beta$ '(coeficientes B estandarizados definidos como $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ dondees la variable dependiente yes un predictor) informado no parece coincidir con elinformado: $y$ $x_1$ $R^2$

A pesar de 's de -0.83, -0.29, -0.16, -0.43, 0.25 y -0.29, el reportado es solo 0.20. $\beta$ $R^2$

Además, los tres predictores: peso, IMC y% de grasa son multicolineales, correlacionados alrededor de r = 0.8-0.9 entre sí dentro de los sexos.

¿Es plausible el valor con estos 's, o no existe una relación directa entre los ' s y el ? $R^2$ $\beta$ $\beta$ $R^2$

Además, ¿podrían los problemas con los predictores multicolineales afectar la de un cuarto predictor (VO2máx), que se correlaciona alrededor de r = 0.4 con las tres variables antes mencionadas? $\beta$

— Sakari Jukarainen
fuente

¿Qué es

en este contexto? ¿Un coeficiente beta (regresión estandarizada)? ¿O algo mas? Si es así, entonces no puedes decir nada, todo lo que obtienes es una interpretación en términos de desviaciones estándar. El hecho de que el coeficiente implique grandes efectos no implica un alto valor de

β

$\beta$

R^{2}

$R^2$

— Repmat

ß significa coeficientes b estandarizados. Para un caso de predicción 1, ß es igual a r de Pearson, que está directamente relacionado con el R cuadrado; sin embargo, en este caso multivariante, ¿por qué los altos ß no implican un R cuadrado alto?

— Sakari Jukarainen

No, en un caso de regresor

no es igual a la correlación de Pearson:

β

$\beta$

. La relación entre

no es tan simple.

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— Richard Hardy

@ Richard Hardy Sospecho que la confusión es que Sakari definió

como el coeficiente de regresión estandarizado . En una regresión lineal bivariada, el coeficiente de regresión (

en la notación de Sakari) es

β

$\beta$

b

$b$

, donde

es la correlación y

la desviación estándar. Para estandarizar un coeficiente de regresión dividimos el coeficiente con la desviación estándar de

y multiplicamos con esa desviación estándar de

, por lo que solo queda la correlación. Entonces Sakari tiene razón.

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Maarten Buis

Todavía no veo por qué consideras que esto está mal. Si hay algunas estadísticas de resumen en el documento, simplemente puede verificar si los números se suman. Incluso proporcionó la fórmula para hacerlo. No puede concluir, simplemente porque los efectos son grandes en términos absolutos, que los modelos hacen un buen trabajo al explicar la varianza en y.

— Repmat

La interpretación geométrica de la regresión de mínimos cuadrados ordinarios proporciona la información necesaria.

La mayor parte de lo que necesitamos saber se puede ver en el caso de dos variables independientes y con la respuesta . Los coeficientes estandarizados, o "betas", surgen cuando los tres vectores están estandarizados a una longitud común (que podemos considerar como unidad). Por lo tanto, y son vectores unitarios en un plano --están ubicados en el círculo unitario-- es un vector unitario en un espacio euclidiano tridimensional que contiene ese plano. El valor ajustado en $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ es la proyección ortogonal (perpendicular) de $y$ $E^2$ . Debido a que es simplemente la longitud al cuadrado de $R^2$ $\hat y$ , que ni siquiera necesita visualizar las tres dimensiones: toda la información que necesitamos se puede dibujar en ese plano.

Regresores ortogonales

La mejor situación es cuando los regresores son ortogonales, como en la primera figura.

$Figura 1, que muestra los regresores y $ \ hat y $ como vectores en un plano.$

En esta y en el resto de las figuras, dibujaré constantemente el disco de la unidad en blanco y los regresores como flechas negras. siempre apuntará directamente a la derecha. Las gruesas flechas rojas representan las componentes de en los y direcciones: es decir, y . La longitud de es el radio del círculo gris en la que se encuentra - pero recuerda que es el $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ cuadrado de esa longitud.

El teorema de Pitágoras afirma

R^{2} = El | \hat{y} {El |}^{2} = El | β_{1} X_{1} {El |}^{2} + El | β_{2} X_{2} {El |}^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

Debido a que el teorema de Pitágoras se sostiene en cualquier cantidad de dimensiones, este razonamiento se generaliza a cualquier número de regresores, produciendo nuestro primer resultado:

Cuando los regresores son ortogonales, es igual a la suma de los cuadrados de las betas. $R^2$

Un corolario inmediato es que cuando solo hay un regresor, regresión univariante, $R^2$ es el cuadrado de la pendiente normalizada.

Correlacionado

Los regresores correlacionados negativamente se encuentran en ángulos mayores que un ángulo recto.

Es visualmente aparente en esta imagen que la suma de los cuadrados de las betas es estrictamente mayor que $R^2$ . Esto se puede probar algebraicamente usando la Ley de cosenos o trabajando con una solución matricial de las ecuaciones normales.

Al hacer que los dos regresores casi paralelo, podemos posicionar cerca del origen (para un cerca de ), mientras que sigue teniendo componentes grandes en el y dirección. Por lo tanto, no hay límite de cuán pequeño puede ser . $\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

Vamos a recordar este resultado obvio, nuestra segunda generalidad:

Cuando los regresores están correlacionados, puede ser arbitrariamente más pequeño que la suma de los cuadrados de las betas. $R^2$

Sin embargo, esta no es una relación universal, como lo demuestra la siguiente figura.

Ahora excede estrictamente la suma de cuadrados de las betas. Al dibujar las dos regresores cerca juntos y mantener entre ellos, podemos hacer el betas tanto enfoque , incluso cuando es cerca de . Un análisis adicional puede requerir algo de álgebra: lo tomo a continuación. $R^2$ $\hat y$ $1/2$ $R^2$ $1$

Dejo a su imaginación construir ejemplos similares con regresores positivamente correlacionados, que por lo tanto se encuentran en ángulos agudos.

Tenga en cuenta que estas conclusiones son incompletas: existen límites respecto de cuánto menos se puede comparar con la suma de los cuadrados de las betas. En particular, al examinar cuidadosamente las posibilidades, puede concluir (para una regresión con dos regresores) que $R^2$

Cuando los regresores están correlacionados positivamente y las betas tienen un signo común, o cuando los regresores están correlacionados negativamente y las betas tienen signos diferentes, debe ser al menos tan grande como la suma de los cuadrados de las betas. $R^2$

Resultados algebraicos

Generalmente, dejemos que los regresores sean (vectores de columna) y la respuesta sea . Normalización significa que (a) cada uno es ortogonal al vector y (b) tienen longitudes unitarias: $x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

El | X_{yo} {El |}^{2} = El | y {El |}^{2} = 1)

$|x_i|^2 = |y|^2 = 1.$

Ensamblar los vectores columna en un matriz . Las reglas de la multiplicación de matrices implican que $x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

es la matriz de correlación de la . Las betas están dadas por las ecuaciones normales, $x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

Además, por definición, el ajuste es

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

Su longitud al cuadrado da por definición: $R^2$

R^{2} = El | \hat{y} {El |}^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

$R^2$

\sum_{yo = 1}^{pag} β_{yo}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

$L_2$ $A$ $p^2$

El | UNA {El |}_{2}^{2} = \sum_{yo, j} {una}_{yo j}^{2} = tr ({UNA}^{'} UNA) = tr (UNA {UNA}^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

La desigualdad de Cauchy-Schwarz implica

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq El | Σ {El |}_{2} El | β β^{'} {El |}_{2} = El | Σ {El |}_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

$1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq pag β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

$x_i$

$R^2$ $R^2/p$

Conclusiones

$R^2$ $\hat y$ $R^2$ es distinto de cero.

$1.1301$ $R^2$ $1$

$-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

$R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ por cantidades desconocidas (dependiendo de cómo los tres están relacionados con las covariables), dejándonos sin saber casi nada sobre los tamaños reales de los vectores con los que estamos trabajando.

— whuber
fuente

1, pero no entiendo por qué, en el caso no ortogonal, que

\hat{y}

$\hat y$

\hat{y}

$\hat y$

@amoeba Tienes toda la razón. ¡He sido demasiado apresurado en crear estas imágenes! Eliminaré (con suerte temporalmente) esta publicación hasta que tenga la oportunidad de corregir el problema. Gracias por señalar esto.

— whuber

@Amoeba He corregido las imágenes y modificado el análisis para que coincida. Aunque los detalles han cambiado sustancialmente, las conclusiones siguen siendo las mismas.

— whuber

@amoeba Nuevamente tienes razón. Con cierto riesgo de perder lectores interesados, pero ahora sintiéndome obligado a cuantificar la intuición geométrica, apreté esa conclusión y la justifiqué con un poco de álgebra. (¡Confío en que el álgebra es correcto!)

— whuber

¡Muchas gracias! Como nota al margen, el VO2max se correlaciona negativamente con el peso y el IMC, ya que están asociados con una mayor masa corporal magra. En dicha tabla, el VO2max corresponde en realidad al VO2max dividido por el peso (que es una mala forma de aumentar el VO2max al tamaño del cuerpo). El VO2max / peso en la tabla se correlaciona negativamente con todos los otros predictores, excepto el sexo, lo que podría explicar el alto ß pero el bajo R cuadrado, como usted mencionó.

— Sakari Jukarainen