¿ -squared tiene un valor ?

18

Parece que me he confundido tratando de entender si un valor de $r$ cuadrado también tiene un valor de $p$ .

Según tengo entendido, en la correlación lineal con un conjunto de puntos de datos, puede tener un valor que varía de a y este valor, cualquiera que sea, puede tener un valor que muestra si es significativamente diferente de (es decir, , si hay una correlación lineal entre las dos variables). $r$ $-1$ $1$ $p$ $r$ $0$

Pasando a la regresión lineal, se puede ajustar una función a los datos, descrita por la ecuación . y (origen y la pendiente) también tienen -valores para mostrar si son significativamente diferentes de . $Y = a + bX$ $a$ $b$ $p$ $0$

Suponiendo que hasta ahora he entendido todo bien, ¿son el valor para y el valor para exactamente lo mismo? ¿Es correcto decir que no es cuadrado que tiene un valor sino más bien o que sí? $p$ $r$ $p$ $b$ $r$ $p$ $r$ $b$

statistical-significance p-value r-squared

— usuario1357
fuente

14

Además de los numerosos comentarios (correctos) de otros usuarios que señalan que el valor para es idéntico al valor para la prueba global , tenga en cuenta que también puede obtener el valor asociado con "directamente" usando el hecho de que bajo la hipótesis nula se distribuye como , donde y son el numerador y grados de libertad del denominador, respectivamente, para la estadística asociada . $p$ $r^2$ $p$ $F$ $p$ $r^2$ $r^2$ $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ $v_n$ $v_d$ $F$

La tercera viñeta en la subsección Derivada de otras distribuciones de la entrada de Wikipedia en la distribución beta nos dice que:

Si e son independientes, entonces . $X \sim \chi^2(\alpha)$ $Y \sim \chi^2(\beta)$ $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Bueno, podemos escribir en esa forma . $r^2$ $\frac{X}{X+Y}$

Supongamos que es la suma total de cuadrados para una variable , es la suma de errores al cuadrado para una regresión de en algunas otras variables, y es la "suma de cuadrados reducidos", es decir, . Entonces Y, por supuesto, al ser sumas de cuadrados, y son ambos distribuidos como con y grados de libertad, respectivamente. Por lo tanto, $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$

r^{2} = 1 - \frac{S S_{E}}{S S_{Y}} = \frac{S S_{Y} - S S_{E}}{S S_{Y}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ (Por supuesto, no demostré que los dos chi-cuadrados sean independientes. Tal vez un comentarista pueda decir algo al respecto).

Demostración en R (código de préstamo de @gung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

— Jake Westfall
fuente

6

Espero que esta cuarta (!) Respuesta aclare las cosas aún más.

En regresión lineal simple, hay tres pruebas equivalentes:

Prueba t para la pendiente de población cero de la covariable $X$
Prueba t para la correlación de población cero entre y la respuesta $X$ $Y$
F-test para la población cero R-cuadrado, es decir, nada de la variabilidad de se puede explicar por las diferencias . $Y$ $X$

Las tres pruebas verifican una asociación lineal entre e y, afortunadamente (!), Todas conducen al mismo resultado. Sus estadísticas de prueba son equivalentes. (Las pruebas 1 y 2 se basan en la distribución de Estudiantes con df que corresponde a la distribución F de muestreo de la prueba 3, solo con la estadística de prueba al cuadrado). $X$ $Y$ $n-2$

Un ejemplo rápido en R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Como puede ver, las tres pruebas arrojan el mismo valor p de 0.00218. Tenga en cuenta que la prueba 3 es la que está en la última línea de la salida.

Por lo tanto, su prueba F para el R cuadrado es muy frecuente, aunque no muchos estadísticos lo están interpretando como una prueba para el R cuadrado.

— Michael M
fuente

5

Pareces tener una comprensión decente para mí. Podríamos obtener un valor para , pero dado que es una función (no estocástica) de , las s serían idénticas. $p$ $r^2$ $r$ $p$

— gung - Restablece a Monica
fuente

No lo creo. Conectando la inferencia sobre

y

con la inferencia sobre el

y

de OLS,

es significativo si

es distinto de cero, independientemente de

. Sin embargo,

es significativo si

o

no son cero. Esto ayuda a visualizar lo que evalúan las pruebas respectivas.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

— AdamO

1

@ Adam, no puedo seguir el argumento en tu comentario. Al igual que en el post de Michael Mayer continuación, en I try: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). La p para r es .265. La p para b & para la prueba F global es idéntica, aunque la p para a es 6.96e-09.

— gung - Restablece a Monica

Exactamente mi punto.

es diferente de

y su valor

NO es idéntico.

puede ser una función de

, pero ni siquiera es una función monotónica.

puede ser significativo cuando

no lo es. ¿Qué mide

? Es el error estándar residual después de dibujar la línea de tendencia OLS y calcular los residuos. En su ejemplo, ¿la varianza residual será menor que la varianza

incondicional ? Absolutamente.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$ es significativo entonces. Puede calcular las características de funcionamiento con bootstrap y la conexión entre ANOVA y los mínimos cuadrados ordinarios también arroja luz sobre el asunto.

— AdamO

44

También puede obtener el valor

asociado con

"directamente" utilizando el hecho de que

bajo la hipótesis nula se distribuye como

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

, donde

y

son los grados de libertad del numerador y del denominador, respectivamente, para laestadística

asociada. (Vea la tercera identidad aquí:en.wikipedia.org/wiki/….) Entonces, usando los datos de ejemplo de @ gung, siingresamos, obtenemos.

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

— Jake Westfall

44

@ Adam, todavía no entiendo. Ambos son .265, ¿cómo no son idénticos?

— gung - Restablece a Monica

4

Hay varias formas de derivar el estadístico de prueba para las pruebas de la correlación de Pearson, . Para obtener un valor , vale la pena enfatizar que necesita una prueba y una distribución de muestreo de una estadística de prueba bajo la hipótesis nula. Su título y su pregunta parecen tener cierta confusión entre la correlación de Pearson y la "varianza explicada" . Consideraré primero el coeficiente de correlación. $\rho$ $p$ $r^2$

No hay una "mejor" forma de probar la correlación de Pearson que yo sepa. La transformación Z de Fisher es una de esas formas, basada en transformaciones hiperbólicas, de modo que la inferencia es un poco más eficiente. Este es ciertamente un enfoque "bueno", pero lo triste es que la inferencia para este parámetro es consistente con la inferencia sobre el parámetro de pendiente para la asociación: a largo plazo cuentan la misma historia. $\beta$

La razón por la cual los estadísticos han (clásica) en su totalidad las pruebas de preferido es porque sí tenemos un "mejor" prueba: regresión lineal, que es el estimador AZUL. En los días de las estadísticas modernas, ya no nos importa si una prueba es "mejor", pero la regresión lineal tiene muchas otras propiedades fantásticas que justifican su uso continuo para determinar la asociación entre dos variables. En general, su intuición es correcta: son esencialmente lo mismo, y enfocamos nuestra atención en como una medida más práctica de asociación. $\beta$ $\beta$

El es una función tanto de la pendiente como de la intersección. Si alguno de estos valores es distinto de cero, el debe tener una distribución de muestreo discernible en relación con la que se esperaría si los parámetros lineales fueran cero. Sin embargo, derivando distribuciones de bajo nulo y comparando con $r^2$ $r^2$ $r^2$ $r^2$ Bajo alguna hipótesis alternativa no me da mucha confianza de que esta prueba tiene mucho poder para detectar lo que queremos que haga. Solo un presentimiento. Volviendo nuevamente a los "mejores" estimadores, OLS nos da "mejores" estimaciones tanto de la pendiente como de la intersección, por lo que tenemos la confianza de que nuestra prueba es al menos buena para determinar la misma asociación (si la hay) al probar directamente los parámetros del modelo . Para mí, la prueba conjunta de y con OLS es superior a cualquier prueba sobre excepto en un caso raro de (quizás) una aplicación de calibración de modelado predictivo no anidada ... pero BIC probablemente sería una mejor medida en ese escenario de todas formas. $\alpha$ $\beta$ $r^2$

— AdamO
fuente

1

"El

es una función tanto de la pendiente como de la intersección". Tal vez me estoy perdiendo algo, pero ... ¿no es solo una función de la pendiente? ¿Tal vez podrías proporcionar una demostración concreta?

r^{2}

$r^2$

— Jake Westfall

Seguro. Recuerde que si los datos observados se corresponden perfectamente con la línea de tendencia, entonces

exactamente. Considere los datos de "respuesta plana" sin variabilidad pero con una intersección distinta de cero, por lo que todas las tuplas toman la forma

para todo

.

como aludido. El coeficiente de determinación sirve como un resumen razonable de la capacidad predictiva para una ecuación lineal, y obtener esas predicciones requiere tanto una pendiente como una intersección.

r^{2} = 1

$r^2 = 1$

(x_{i}, β_{0})

$(x_i, \beta_0)$

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$

r^{2} = 1

$r^2 = 1$

— AdamO

1

Así no es como interpretaría las cosas. No creo que alguna vez calcule un valor para or . y son medidas cualitativas de un modelo, no medidas que estamos comparando con una distribución, por lo que un valor realmente no tiene sentido. $p$ $r$ $r^2$ $r$ $r^2$ $p$

Obtener un valor para tiene mucho sentido: eso es lo que te dice si el modelo tiene una relación lineal o no. Si es estadísticamente significativamente diferente de entonces concluye que existe una relación lineal entre las variables. El o le indica qué tan bien explica el modelo la variación en los datos. Si es bajo, entonces su variable independiente no está ayudando a explicar mucho sobre la variable dependiente. $p$ $b$ $b$ $0$ $r$ $r^2$ $r^2$

Un valor para nos dice si la intersección es estadísticamente significativamente diferente de o no. Esto es de utilidad variable, dependiendo de los datos. Mi ejemplo favorito: si hace una regresión lineal entre el tiempo de gestación y el peso al nacer, puede encontrar una intersección de, por ejemplo, 8 onzas que es estadísticamente diferente de . Sin embargo, dado que la intercepción representa una edad de gestación de semanas, en realidad no significa nada. $p$ $a$ $0$ $0$ $0$

Si alguien calcula regularmente los valores para un , me interesaría saber de ellos. $p$ $r^2$

— Duncan
fuente

44

Eche un vistazo más de cerca a la salida de su comando de regresión favorito: debe informar una estadística

y un valor p para él. Este es también el valor de p para el

, porque

y

son relacionadas directamente y de forma monótona. Para la regresión ordinaria con

datos,

. Su valor p será el valor p para la pendiente. Por lo tanto, si alguna vez ha usado un valor p para

en una regresión ordinaria, ha usado un valor p para

F

$F$

R^{2}

$R^2$

F

$F$

R^{2}

$R^2$

n

$n$

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$

b

$b$

.

R^{2}

$R^2$

— whuber

En la práctica, parece que las personas no piensan en términos de la importancia de r o r ^ 2. Lo que podría ser más útil es un intervalo de confianza a su alrededor.

— N Brouwer