Número mínimo de observaciones para regresión lineal múltiple

Estoy haciendo regresión lineal múltiple. Tengo 21 observaciones y 5 variables. Mi objetivo es solo encontrar la relación entre variables

1. ¿Son suficientes mis datos para hacer una regresión múltiple?

2. El resultado de la prueba t reveló que 3 de mis variables no son significativas. ¿Necesito hacer mi regresión nuevamente con las variables significativas (o mi primera regresión es suficiente para llegar a una conclusión)? Mi matriz de correlación es la siguiente

          var 1   var 2    var 3   var 4   var 5     Y
   var 1   1.0     0.0       0.0   -0.1    -0.3    -0.2
   var 2   0.0     1.0       0.4    0.3    -0.4    -0.4
   var 3   0.0     0.4       1.0    0.7    -0.7    -0.6
   var 4  -0.1     0.3       0.7    1.0    -0.7    -0.9
   var 5  -0.3    -0.4      -0.7   -0.7    1.0      0.8
   Y      -0.2    -0.4      -0.6   -0.9    0.8      1.0
   

var 1 y var 2 son variables continuas y var 3 a 5 son variables categóricas y y es mi variable dependiente.

Cabe mencionar que la variable importante que se ha considerado en la literatura como el factor más influyente en mi variable dependiente no se encuentra también entre mis variables de regresión debido a mi limitación de datos. ¿Todavía tiene sentido hacer una regresión sin esta variable importante?

aquí está mi intervalo de confianza

    Varibales   Regression Coefficient  Lower 95% C.L.  Upper 95% C.L.
    Intercept   53.61                       38.46        68.76
    var 1       -0.39                      -0.97         0.19
    var 2       -0.01                      -0.03         0.01
    var 3        5.28                      -2.28         12.84
    var 4       -27.65                     -37.04       -18.26
    **var 5      11.52                      0.90         22.15**

La regla general (basada en cosas del libro de Frank Harrell, Estrategias de modelado de regresión ) es que si espera poder detectar efectos de tamaño razonable con un poder razonable , necesita 10-20 observaciones por parámetro (covariable) estimado. Harrell analiza muchas opciones para la "reducción de dimensiones" (reducir el número de covariables a un tamaño más razonable), como PCA, pero lo más importante es que para tener confianza en los resultados se debe hacer una reducción de dimensiones sin mirar la variable de respuesta . Hacer la regresión nuevamente con solo las variables significativas, como sugieres anteriormente, es en casi todos los casos una mala idea.

Sin embargo, dado que está atrapado con un conjunto de datos y un conjunto de covariables que le interesan, no creo que ejecutar la regresión múltiple de esta manera sea intrínsecamente incorrecto. Creo que lo mejor sería aceptar los resultados tal como son, del modelo completo (no olvide mirar las estimaciones puntuales y los intervalos de confianza para ver si los efectos significativos se estiman "grandes" en algunos casos). sentido mundial, y si los efectos no significativos se estiman en realidad más pequeños que los efectos significativos o no).

En cuanto a si tiene sentido hacer un análisis sin el predictor que su campo considera importante: no lo sé. Depende de qué tipo de inferencias desee hacer según el modelo. En sentido estricto, el modelo de regresión todavía está bien definido ("¿cuáles son los efectos marginales de estos predictores en esta respuesta?"), Pero alguien en su campo podría decir con razón que el análisis simplemente no tiene sentido. Ayudaría un poco si supiera que los predictores que tiene no están correlacionados con el predictor conocido (lo que sea que sea), o ese predictor conocido es constante o casi constante para sus datos: entonces al menos podría decir que algo distinto del conocido predictor tiene un efecto en la respuesta.

La respuesta a la pregunta general es que depende de muchos factores, siendo los principales (1) el número de covariables (2) la varianza de las estimaciones y los residuos. Con una muestra pequeña, no tiene mucho poder para detectar una diferencia de 0. Así que miraría la varianza estimada de los parámetros de regresión. Desde mi experiencia con la regresión, 21 observaciones con 5 variables no son datos suficientes para descartar variables. Por lo tanto, no sería tan rápido descartar variables ni enamorarme demasiado de las que parecen significativas. La mejor respuesta es esperar hasta tener muchos más datos. A veces eso es fácil de decir pero difícil de hacer. Miraría la regresión gradual, la regresión hacia adelante y hacia atrás solo para ver qué variables se seleccionan. Si las covariables están altamente correlacionadas, esto puede mostrar conjuntos muy diferentes de variables seleccionadas. Inicie el procedimiento de selección del modelo, ya que será revelador en cuanto a la sensibilidad de la selección de variables a los cambios en los datos. Debe calcular la matriz de correlación para covariables. Quizás Frank Harrell intervenga en esto. Es un verdadero experto en selección de variables. Creo que al menos estaría de acuerdo conmigo en que no debe elegir un modelo final basado únicamente en estos 21 puntos de datos.