Agregar un predictor de regresión lineal disminuye R al cuadrado

Mi conjunto de datos ( ) tiene una variable dependiente (DV), cinco variables de "línea base" independientes (P1, P2, P3, P4, P5) y una variable de interés independiente (Q). $N \approx 10,000$

He ejecutado regresiones lineales de OLS para los siguientes dos modelos:

DV ~ 1 + P1 + P2 + P3 + P4 + P5
                                  -> R-squared = 0.125

DV ~ 1 + P1 + P2 + P3 + P4 + P5 + Q
                                  -> R-squared = 0.124

Es decir, agregar el predictor Q ha disminuido la cantidad de varianza explicada en el modelo lineal. Por lo que yo entiendo, esto no debería suceder .

Para ser claros, estos son valores de R cuadrado y valores de R cuadrado no no ajustados.

He verificado los valores de R cuadrado utilizando Jasp y de Python statsmodels .

¿Hay alguna razón por la que podría estar viendo este fenómeno? ¿Quizás algo relacionado con el método OLS?

regression linear r-squared

— Cai
fuente

problemas numéricos? Los números están bastante cerca uno del otro ...

@ user2137591 Esto es lo que estoy pensando, pero no tengo idea de cómo verificar esto. La diferencia absoluta en los valores de R al cuadrado es 0.000513569, que es pequeña, pero no tan pequeña.

— Cai

Espero que sepa álgebra lineal: si es la matriz de diseño de lo anterior, ¿podría calcular , donde es la transposición de la matriz y es la matriz determinante?

X

$\mathbf{X}$

det X^{T} X

$\det\mathbf{X}^{T}\mathbf{X}$

T

$T$

det

$\det$

— Clarinetista

¿Los valores faltantes se descartan automáticamente?

— generic_user

0.000513569 es un número muy pequeño: es un cambio de 0.41 por ciento. Es muy posiblemente un problema numérico. Clarinetista lo que está tratando de decir es que tal vez su matriz de diseño tiene un número de condición pobre y al invertir es numéricamente inestable ...

¿Podría ser que le faltan valores Qque se están descartando automáticamente? Eso tendría implicaciones en la muestra, haciendo que las dos regresiones no sean comparables.

— genérico_usuario
fuente