¿Por qué la traza de

En el modelo ${y} = X \beta + \epsilon$ , podríamos estimar $\beta$ utilizando la ecuación normal:

$$\hat{\beta} = (X'X)^{-1}X'y,$$ y podríamos obtener y =X β . $$\hat{y} = X \hat{\beta}.$$

El vector de residuos se estima por

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

donde

$$Q = I - X (X'X)^{-1} X'.$$

Mi pregunta es cómo obtener la conclusión de

$$\textrm{tr}(Q) = n - p.$$

La conclusión simplemente cuenta las dimensiones de los espacios vectoriales. Sin embargo, generalmente no es cierto.

Las propiedades más básicas de la multiplicación de matrices muestran que la transformación lineal representada por la matriz satisface$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

exponiéndolo como operador de proyección . Por eso su complemento

$$\mathbb{Q} = 1 - \mathbb{H}$$

(como se indica en la pregunta) también es un operador de proyección. El rastro de es su rango h (ver abajo), de donde el rastro de Q es igual a n - h .$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

A partir de su fórmula misma, es evidente que es la matriz asociada con la composición de dos transformaciones lineales J = ( X ' X ) - X ' y X en sí. El primero ( J ) transforma el n -vector y en el p -vector β . El segundo ( X ) es una transformación de R p a R n dado por Y = X $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. Su rango no puede exceder la menor de esas dos dimensiones, que en una configuración de mínimos cuadrados siempre es (pero podría ser menor que p , siempre que J no sea de rango completo). En consecuencia, el rango de la composición H = X J no puede exceder el rango de X . La conclusión correcta , entonces, es$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

si y solo si J es de rango completo; y en general n ≥ tr ( Q ) ≥ n - p . En el primer caso, se dice que el modelo es "identificable" (para los coeficientes de β ).$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

será de rango completo si y solo si X ′ X es invertible.$\mathbb{J}$$X^\prime X$

---

Interpretación geométrica

representa la proyección ortogonal de n -vectores y (que representa la "respuesta" o "variable dependiente") en el espacio atravesado por las columnas de X (que representa las "variables independientes" o "covariables"). La diferencia Q = 1 - H muestra cómo descomponer cualquiervector n y en una suma de vectores y = H ( y ) + Q ( y ) , donde el primero se puede "predecir" a partir de X y el segundo es perpendicular a él . Cuando el$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$las columnas de generan un espacio p -dimensional (es decir, no son colineales), el rango de H es p y el rango de Q es n - p , lo que refleja las dimensiones adicionales de variación n - p en la respuesta que no están representadas dentro de las variables independientes. La traza da una fórmula algebraica para estas dimensiones.$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

Fondo de álgebra lineal

Un operador de proyección en un espacio vectorial (tal como R n ) es una transformación lineal P : V → V (es decir, un endomorfismo de V ) de tal manera que P 2 = P . Esto hace que su complemento Q = 1 - P sea un operador de proyección, también, porque$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Todas las proyecciones fijar cada elemento de sus imágenes, para cada vez que podemos escribir v = P ( w ) para algunos w ∈ V , de donde w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Asociados con cualquier endomorfismo de V hay dos subespacios: su kernel ker ( P ) = { v ∈ $\mathbb{P}$$V$ y suimagen Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ Cada vector v ∈ V puede escribirse en la forma v = w + u donde w ∈ Im ( P ) y u ∈ Ker ( P ) . Por lo tanto, podemos construir una base E ∪ F para V para la cual E ⊂ Ker ( P ) y F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$ . Cuando V es de dimensión finita, la matriz de P en esta base estará, por lo tanto, en forma de bloque diagonal, con un bloque (correspondiente a la acción de P sobre E ) todos ceros y el otro (correspondiente a la acción de P sobre F ) igual a lamatriz de identidad f por f , donde la dimensión de F es f . La traza de P es la suma de los valores en la diagonal y, por lo tanto, debe ser igual a f × 1 = f . Este número es elrangode$F \subset \text{Im}(\mathbb{P})$$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$: la dimensión de su imagen.

La traza de es igual a la traza de 1 (igual a n , la dimensión de V ) menos el rastro de P .$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Estos resultados pueden resumirse con la afirmación de que la traza de una proyección es igual a su rango.

@Dougal ya ha dado una respuesta, pero aquí hay otra, un poco más simple.

$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$ con $(X'X)$, tenemos un $p \times p$ matriz de identidad, cuyo rastro es $p$. Entonces, obtenemos: $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$Assume that $n \le p$ and that $X$ is full-rank.

Consider the compact singular value decomposition $X = U \Sigma V^T$, where $\Sigma \in \R^{p \times p}$ is diagonal and $U \in \R^{n \times p}, V \in \R^{p \times p}$ have $U^T U = V^T V = V V^T = I_p$ (but note $U U^T$ is rank at most $p$ so it cannot be $I_n$). Then

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.