¿Por qué esta regresión NO falla debido a la perfecta multicolinealidad, aunque una variable es una combinación lineal de otras?


15

Hoy, estaba jugando con un pequeño conjunto de datos y realicé una regresión OLS simple que esperaba que fallara debido a la perfecta multicolinealidad. Sin embargo, no fue así. Esto implica que mi comprensión de la multicolinealidad es incorrecta.

Mi pregunta es: ¿Dónde me equivoco?


Creo que puedo mostrar que una de mis variables es una combinación lineal de las otras. Esto debería conducir a una matriz regresiva que no tiene rango completo y, por lo tanto, los coeficientes no deben identificarse.

Generé un pequeño conjunto de datos reproducible (código a continuación) :

   exporter importer      flow     dist intraUS
1    Canada   Canada  996.8677 6.367287       0
2   Florida   Canada  995.8219 9.190562       0
3     Texas   Canada 1001.6475 4.359063       0
4    Mexico   Canada 1002.4371 7.476649       0
5    Canada  Florida 1002.8789 5.389223       0
6   Florida  Florida 1007.5589 6.779686       1
7     Texas  Florida  996.8938 1.570600       1
8    Mexico  Florida 1005.6247 5.910133       0
9    Canada    Texas  999.9190 7.887672       0
10  Florida    Texas 1004.1061 7.187803       1
11    Texas    Texas 1004.5949 7.564273       1
12   Mexico    Texas 1000.3728 2.021297       0
13   Canada   Mexico 1003.0991 5.887743       0
14  Florida   Mexico  999.2210 3.058495       0
15    Texas   Mexico  997.6092 6.835883       0
16   Mexico   Mexico 1006.7934 5.794425       0

Cada vez que exportador e importador son estados de EE. UU., El ficticio intraUSes 1.

Ahora realizo una regresión de (trade) flows exportery importerdummies, distance y el intraUSdummy. Alimentar a R con la siguiente fórmula lm(flow ~ dist + exporter + importer + intraUS, data = dat)devuelve estimaciones para todos los coeficientes, sin valores faltantes o advertencias sobre singularidad:

(Intercept)            dist exporterFlorida   exporterTexas  exporterMexico importerFlorida   importerTexas  importerMexico        intraUS1 
995.1033157       0.5744661      -1.2340338      -1.8792073       3.7375783       3.0361727       1.3256032       3.3225512       4.2429599

Este juego de puzzles mí, porque la matriz regresor indica claramente que intraUSes una combinación lineal de exporterFlorida, importerFlorida, exporterTexasy importerTexas:

> mmat <- data.frame(model.matrix(lm(flow ~ dist + exporter + importer + intraUS, data = dat)))

   X.Intercept.     dist exporterFlorida exporterTexas exporterMexico importerFlorida importerTexas importerMexico intraUS1
1             1 6.367287               0             0              0               0             0              0        0
2             1 9.190562               1             0              0               0             0              0        0
3             1 4.359063               0             1              0               0             0              0        0
4             1 7.476649               0             0              1               0             0              0        0
5             1 5.389223               0             0              0               1             0              0        0
6             1 6.779686               1             0              0               1             0              0        1
7             1 1.570600               0             1              0               1             0              0        1
8             1 5.910133               0             0              1               1             0              0        0
9             1 7.887672               0             0              0               0             1              0        0
10            1 7.187803               1             0              0               0             1              0        1
11            1 7.564273               0             1              0               0             1              0        1
12            1 2.021297               0             0              1               0             1              0        0
13            1 5.887743               0             0              0               0             0              1        0
14            1 3.058495               1             0              0               0             0              1        0
15            1 6.835883               0             1              0               0             0              1        0
16            1 5.794425               0             0              1               0             0              1        0

Calcular exporterFlorida * importerFlorida + exporterFlorida * importerTexas + exporterTexas * importerFlorida + exporterTexas * importerTexasda, no sorprendentemente, exactamente los valores en intraUS1.

Entonces, mi pregunta es, nuevamente : ¿por qué esta regresión no falla, dado que una variable es una combinación lineal de las otras?


Debajo del código completo, reproducen la estimación:

## Generate data ####

set.seed(1)
states <- c("Canada", "Florida", "Texas", "Mexico")
dat <- expand.grid(states, states)
colnames(dat) <- c("exporter", "importer")

dat[, "flow"] <- NA
dat[, "dist"] <- NA
dat[, "intraUS"] <- 0

for (i in 1:nrow(dat)) {
  dat[i, c("flow", "dist")] <- c(rnorm(1, mean = 1000, sd = 5), rnorm(1, mean = 6, sd = 2))
  if (dat[i, "exporter"] %in% states[2:3] && dat[i, "importer"] %in% states[2:3]) {
    dat[i, "intraUS"] <- 1
  }
}
dat$intraUS <- factor(dat$intraUS)

## Run regression - works! ####

summary(lm(flow ~ dist + exporter + importer + intraUS, data = dat))

## Show that "intraUS1" is a linear combination of the dummies. ####

mmat <- data.frame(model.matrix(lm(flow ~ dist + exporter + importer + intraUS, data = dat)))

cbind(mmat, test = with(mmat,
                        exporterFlorida * importerFlorida + exporterFlorida * importerTexas +
                        exporterTexas * importerFlorida + exporterTexas * importerTexas
                        ))[, c("intraUS1", "test")]

99
Votantes, ¿te importaría explicar lo que hice mal? No estoy tan familiarizado con Crossvalidated y me gustaría saber qué hay de malo en esta pregunta, para poder hacerlo mejor la próxima vez.
CL.

Respuestas:


30

exporterFlorida * importerFlorida + exporterFlorida * importerTexas + exporterTexas * importerFlorida + exporterTexas * importerTexas

Esto es no una combinación lineal de exporterFlorida, importerFlorida, importerTexasy exporterTexas. En una combinación lineal, los coeficientes de los vectores deben ser constantes . Entonces algo como

2*importerFlorida + 3*importerTexas - exporterFlorida - 2*exporterTexas

Es una combinación lineal.

Lo que tienes posiblemente podría llamarse una combinación cuadrática, pero eso es extender la terminología a la tierra "Estoy inventando cosas".


2
Maldición ... este es el castigo por nunca haber asistido a un curso de matemáticas, sino por comenzar con las estadísticas. ¡Gracias!
CL.

44
Sin preocupaciones. ¡Para eso estamos aquí!
Matthew Drury
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.