Regresión lineal multivariante versus varios modelos de regresión univariante

En la configuración de regresión univariante, intentamos modelar

donde un vector de n observaciones y X ∈ R n × m la matriz de diseño con m predictores. La solución es β 0 = ( X T X ) - 1 X y .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

En la configuración de regresión multivariante, intentamos modelar

donde es una matriz de n observaciones y p diferentes variables latentes. La solución es β 0 = ( X T X ) - 1 X Y .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Mi pregunta es ¿cómo es tan diferente a la realización de diferente de regresión lineal univariante? Leí aquí que en el último caso tomamos en consideración la correlación entre las variables dependientes, pero no la veo desde las matemáticas.$p$

En el contexto de la regresión lineal multivariada clásica, tenemos el modelo:

$X$$Y$$\epsilon$

$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Sin embargo, la regresión lineal multivariada difiere de resolver por separado los problemas de regresión individuales porque los procedimientos de inferencia estadística explican las correlaciones entre las variables de respuesta múltiple (por ejemplo, ver [2], [3], [4]). Por ejemplo, la matriz de covarianza de ruido se muestra en distribuciones de muestreo, estadísticas de prueba y estimaciones de intervalo.

Otra diferencia emerge si permitimos que cada variable de respuesta tenga su propio conjunto de covariables:

$Y_i$$i$$X_i$$\epsilon_i$

Referencias

1. Zellner (1962) . Un método eficiente para estimar regresiones aparentemente no relacionadas y pruebas de sesgo de agregación.
2. Helwig (2017) . Regresión lineal multivariante [Diapositivas]
3. Fox y Weisberg (2011) . Modelos lineales multivariados en R. [Apéndice de: Un compañero R para la regresión aplicada]
4. Maitra (2013) . Modelos de regresión lineal multivariante. [Diapositivas]