Regresión lineal múltiple para pruebas de hipótesis

Estoy familiarizado con el uso de múltiples regresiones lineales para crear modelos de varias variables. Sin embargo, tenía curiosidad por saber si alguna vez se utilizan pruebas de regresión para hacer algún tipo de prueba de hipótesis básica. Si es así, ¿cómo serían esos escenarios / hipótesis?

Aquí hay un ejemplo simple. No sé si está familiarizado con R, pero espero que el código se explique por sí solo.

set.seed(9)        # this makes the example reproducible
N = 36
    # the following generates 3 variables:
x1 =     rep(seq(from=11, to=13),           each=12)
x2 = rep(rep(seq(from=90, to=150, by=20),   each=3 ), times=3)
x3 =     rep(seq(from=6,  to=18,  by=6 ),  times=12)
cbind(x1, x2, x3)[1:7,]    # 1st 7 cases, just to see the pattern
      x1  x2 x3
 [1,] 11  90  6
 [2,] 11  90 12
 [3,] 11  90 18
 [4,] 11 110  6
 [5,] 11 110 12
 [6,] 11 110 18
 [7,] 11 130  6 
    # the following is the true data generating process, note that y is a function of
    #   x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
    #   & that x2 tends to have less influence on the response variable than x1:
y  = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)

reg.Model = lm(y~x1+x2+x3)    # fits a regression model to these data

Ahora, veamos cómo se ve esto:

. . . 
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -1.76232   27.18170  -0.065  0.94871   
x1           3.11683    2.09795   1.486  0.14716   
x2           0.21214    0.07661   2.769  0.00927 **
x3           0.17748    0.34966   0.508  0.61524   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
. . . 
F-statistic: 3.378 on 3 and 32 DF,  p-value: 0.03016 

Podemos centrarnos en la sección "Coeficientes" de la salida. Cada parámetro estimado por el modelo obtiene su propia fila. La estimación real en sí se enumera en la primera columna. La segunda columna enumera los errores estándar de las estimaciones, es decir, una estimación de cuánto rebotarían las estimaciones de una muestra a otra, si tuviéramos que repetir este proceso una y otra y otra vez. Más específicamente, es una estimación de la desviación estándar de la distribución muestral de la estimación. Si dividimos cada estimación de parámetro por su SE, obtenemos una puntuación t , que se enumera en la tercera columna; esto se usa para la prueba de hipótesis, específicamente para probar si la estimación del parámetro es 'significativamente' diferente de 0. La última columna es elValor p asociado con esa puntuación t. Es la probabilidad de encontrar un valor estimado tan lejos o más lejos de 0, si la hipótesis nula fuera cierta. Tenga en cuenta que si la hipótesis nula no es cierta, no está claro que este valor nos esté diciendo algo significativo.

Si miramos hacia adelante y hacia atrás entre la tabla de Coeficientes y el proceso de generación de datos verdadero anterior, podemos ver algunas cosas interesantes. Se estima que la intersección es -1.8 y su SE es 27, mientras que el valor verdadero es 15. Debido a que el valor p asociado es .95, no se consideraría 'significativamente diferente' de 0 (un error de tipo II ), pero Sin embargo, está dentro de un SE del valor verdadero. Por lo tanto, no hay nada terriblemente extremo en esta estimación desde la perspectiva del valor verdadero y la cantidad que debería fluctuar; simplemente tenemos un poder insuficiente para diferenciarlo de 0. La misma historia es válida, más o menos, parax1x2$.21214\approx.2$x3x1predice la variable de respuesta mejor que el azar solo. Otra forma de decir esto es si todas las estimaciones deben considerarse o no imposibles de diferenciar de 0. Los resultados de esta prueba sugieren que al menos algunas de las estimaciones de los parámetros no son iguales a 0, sino una decisión correcta. Dado que hay 4 pruebas anteriores, no tendríamos protección contra el problema de las comparaciones múltiples sin esto. (Tenga en cuenta que debido a que los valores p son variables aleatorias, si algo es significativo variaría de un experimento a otro, si el experimento se volviera a ejecutar, es posible que estos sean inconsistentes entre sí. Esto se discute en CV aquí: importancia de los coeficientes en regresión múltiple: prueba t significativa versus estadística F no significativa, y la situación opuesta aquí: ¿cómo puede una regresión ser significativa pero todos los predictores no son significativos? & aquí: estadísticas F y t en una regresión .) Quizás curiosamente, no hay errores de tipo I en este ejemplo. En cualquier caso, las 5 pruebas discutidas en este párrafo son pruebas de hipótesis.

De su comentario, deduzco que también puede preguntarse cómo determinar si una variable explicativa es más importante que otra. Esta es una pregunta muy común, pero es bastante complicada. Imagine querer predecir el potencial de éxito en un deporte basado en la altura y el peso de un atleta, y preguntándose cuál es más importante. Una estrategia común es mirar para ver qué coeficiente estimado es mayor. Sin embargo, estas estimaciones son específicas de las unidades que se usaron: por ejemplo, el coeficiente de peso cambiará dependiendo de si se usan libras o kilogramos. Además, no está remotamente claro cómo equiparar / comparar libras y pulgadas, o kilogramos y centímetros. Una estrategia que las personas emplean es estandarizar$R^2$$r=\sqrt{r^2}$

La prueba esencial en los modelos de regresión es la prueba de reducción completa. Aquí es donde está comparando 2 modelos de regresión, el modelo completo contiene todos los términos y la prueba reducida tiene un subconjunto de esos términos (el modelo reducido debe estar anidado en el modelo completo). Luego, la prueba prueba la hipótesis nula de que el modelo reducido se ajusta tan bien como el modelo completo y cualquier diferencia se debe al azar.

Las impresiones comunes del software estadístico incluyen una prueba F general, esta es solo la prueba de reducción completa donde la prueba reducida es solo un modelo de intercepción. También a menudo imprimen un valor p para cada predictor individual, esta es solo una serie de pruebas de modelo con reducción completa, en cada una de ellas el modelo reducido no incluye ese término específico. Hay muchas formas de usar estas pruebas para responder preguntas de interés. De hecho, casi todas las pruebas que se imparten en un curso introductorio de estadísticas se pueden calcular utilizando modelos de regresión y la prueba de reducción total y los resultados serán idénticos en muchos casos y una aproximación muy cercana en los pocos otros.