11

No tengo una definición formal de equivalencia de escala, pero esto es lo que dice Introducción al aprendizaje estadístico sobre esto en la pág. 217:

Los coeficientes estándar de mínimos cuadrados ... son equivalentes de escala : multiplicar $X_j$ por una constante $c$ simplemente conduce a una escala de las estimaciones de coeficientes de mínimos cuadrados por un factor de $1/c$ .

Para simplificar, supongamos el modelo lineal general , donde , es una matriz (donde ) con todas las entradas en , y es un vector dimensional de variables aleatorias de valor real con . $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

Según la estimación de OLS, sabemos que si tiene rango completo (columna), Supongamos que multiplicamos una columna de , digamos para algunos , por una constante . Esto sería equivalente a la matriz $\mathbf{X}$

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$

X

$\mathbf{X}$

x_{k}

$\mathbf{x}_k$

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$

c \neq 0

$c \neq 0$

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ donde todas las demás entradas de la matriz anteriores son , y está en la entrada de la diagonal de . Entonces,

S

$\mathbf{S}$

0

$0$

c

$c$

k

$k$

S

$\mathbf{S}$

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ como la nueva matriz de diseño es Después de un poco de trabajo, uno puede demostrar que

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} y

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ ¿Cómo hago para mostrar el reclamo citado anteriormente (es decir, que

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? No tengo claro cómo calcular

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Clarinetista
fuente

Creo que su no es correcto, le falta un multiplicador en una fila completa.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Además, tenga en cuenta que el reclamo es , no todos .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Sí, lo descubrí. Estoy publicando una respuesta.

— Clarinetista

2

Puede reemplazar todo este álgebra por un análisis de unidades mucho más simple, porque multiplicar por simplemente cambia su unidad de medida y, por lo tanto, el cambio correspondiente en las unidades asociadas con su coeficiente es dividirlo por . Eso no prueba que deba dividirse por , desafortunadamente. Sin embargo, esta cadena de pensamiento podría recordarnos que la regresión múltiple puede llevarse a cabo mediante una sucesión de regresiones contra un regresor a la vez, donde está claro que está dividido por , por lo que la prueba está completa.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber, aunque la intuición para el resultado es clara, parece que simplemente debe haber un poco de álgebra para proporcionar una prueba. Después de todo, el factor de escala necesita ser invertido.

c

$c$

— user795305

11

Dado que la afirmación en la cita es una colección de declaraciones sobre el cambio de escala de las columnas de , también podría probarlas todas a la vez. De hecho, no se necesita más trabajo para probar una generalización de la afirmación: $X$

Cuando se multiplica a la derecha por una matriz invertible , entonces el nuevo coeficiente estimado es igual a multiplicado a izquierda por . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Los únicos hechos algebraicos que necesita son los (fácilmente comprobados y conocidos) que para cualquier matriz y para las matrices invertibles y . (Se necesita una versión más sutil de este último cuando se trabaja con inversas generalizadas: para y invertibles y cualquier , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Prueba por álgebra :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED (Para que esta prueba sea completamente general, el superíndice refiere a un inverso generalizado). $^-$

Prueba por geometría :

Dadas las bases y de y , respectivamente, representa una transformación lineal de a . puede considerar que la multiplicación a la derecha de por deja esta transformación fija pero cambia a (es decir, a las columnas de ). Bajo ese cambio de base, la representación de cualquier vector debe cambiar mediante la multiplicación a la izquierda por , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Esta prueba funciona, sin modificaciones, incluso cuando no es invertible). $X^\prime X$

La cita se refiere específicamente al caso de las matrices diagonales con para y . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Conexión con mínimos cuadrados

El objetivo aquí es utilizar los primeros principios para obtener el resultado, siendo el principio el de los mínimos cuadrados: estimar los coeficientes que minimizan la suma de los cuadrados de los residuos.

Nuevamente, probar una generalización (enorme) no es más difícil y es más bien revelador. Suponga que es cualquier mapa (lineal o no) de espacios vectoriales reales y suponga que es cualquier función de valor real en . Deje que sea el conjunto (posiblemente vacío) de puntos para los que está minimizado.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Resultado: , que está determinado únicamente por y , no depende de ninguna elección de base utilizada para representar vectores en . $U$ $Q$ $\phi$ $E_p$ $V^p$

Prueba: QED.

¡No hay nada que demostrar!

Aplicación del resultado: Sea una forma cuadrática semidefinida positiva en , deje , y suponga que es un mapa lineal representado por cuando las bases de y son elegidos. Defina . Elija una base de y suponga que es la representación de algunos en esa base. Esto es mínimos cuadrados : minimiza la distancia al cuadrado . Porque $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ es un mapa lineal, el cambio de la base de corresponde a-multiplicando derecho por alguna matriz invertible . Eso multiplicará a la izquierda por , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
fuente

6

Defina el estimador de mínimos cuadrados , donde la matriz de diseño es rango completo. Suponiendo que la matriz de escala es invertible. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Defina este nuevo estimador escalado . Esto significa que para todos . Al definir , podemos reescribir esta desigualdad mostrada arriba como para todos . Por lo tanto, , y se deduce que el estimador de mínimos cuadrados Debido a la invertibilidad de la matriz de escala $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , se deduce que . En nuestro caso, esto solo difiere de por la entrada que escala .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— usuario795305
fuente

1

No estoy familiarizado, ya que debería estar trabajando con y funciones similares. ¿Podría explicar la transición de su segunda a la tercera línea de ecuaciones?

arg min

$\text{arg min}$

— Clarinetista

Lo he escrito un poco diferente, lo que debería aclarar los pasos.

— user795305

Esto es realmente inteligente. (+1)

— Clarinetista el

4

Me di cuenta de esto después de publicar la pregunta. Sin embargo, si mi trabajo es correcto, interpreté mal el reclamo. La escala solo ocurre en el componente de correspondiente a la columna de se multiplica por . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Observe que , en la notación anterior, es una matriz diagonal, simétrica y tiene inversa (porque es diagonal) Tenga en cuenta que es una matriz . Supongamos que $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Por lo tanto, y multiplicando esto por tiene un efecto similar al multiplicado por por : sigue siendo el mismo, se multiplica por

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Por lo tanto,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ como se desee.

— Clarinetista
fuente

Hay un error tipográfico en . Necesita transponer .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

La prueba más trivial jamás

Comienzas con tu ecuación lineal: Ahora quieres cambiar la escala de tus regresores, quizás convertir del sistema métrico a Imperial, sabes kilogramos a libras, metros a yardas, etc. Entonces, subes con la matriz de conversión donde cada es el coeficiente de conversión para variable (columna) en matriz de diseño .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Reescribamos la ecuación:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Ahora está muy claro que la escala es la propiedad de la linealidad de su ecuación, no el método OLS de estimación de coeficientes. Independientemente del método de estimación con ecuación lineal, usted tiene que cuando los regresores se escalan como sus nuevos coeficientes se deben escalar como $XS$ $S^{-1}\beta$

Prueba de álgebra solo para OLS

La escala es la siguiente: , donde factor de escala de cada variable (columna) y una versión a escala de . Llamemos a la matriz de escala diagonal . Su estimador de OLS es Conectemos la matriz escalada lugar de y usemos algo de álgebra matricial : Entonces, usted ve cómo el nuevo coeficiente es simplemente el coeficiente anterior reducido, como se esperaba.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
fuente

2

Me gustan sus enfoques, pero no me convence "la prueba más trivial jamás vista". Usted ha asumido implícitamente, y aún necesita mostrar, que el modelo reescrito debe tener el mismo ajuste que el original. Para decirlo más rigurosamente: si vemos un procedimiento de ajuste como una función , donde es el conjunto de todos los datos posibles (que podríamos escribir como el par ordenado ) y es el conjunto de todas las estimaciones de coeficientes posibles, entonces debe demostrar que para todos invertible , todos los , y todos . (¡Esto no siempre es cierto!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber, en realidad es al revés: el procedimiento de ajuste razonable debería satisfacer esta condición; de lo contrario, un simple cambio de unidad de medida producirá un pronóstico / estimación diferente. actualizaré mi respuesta, lo pensaré un poco

— Aksakal

Estoy de acuerdo, pero puedo imaginar excepciones en los casos en que no es de rango completo. Eso es lo que me sugirió que la situación no es tan trivial como podría parecer.

X

$X$

— whuber

3

compañero imperial , no real ...: D (Buena respuesta, +1)

— usεr11852

@ usεr11852, aprendí algo hoy :)

— Aksakal

2

Una manera fácil de obtener este resultado es recordar que es la proyección de en el espacio de la columna de es el vector de coeficientes cuando se expresa como lineal combinación de las columnas de . Si alguna columna se escala por un factor , está claro que el coeficiente correspondiente en la combinación lineal debe escalarse por . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Supongamos que son los valores de y los valores de la solución OLS cuando escala una columna $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

implica que donde y , suponiendo que las columnas de son linealmente independientes. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
fuente

¿Muestra que el estimador de MCO es equivalente a la escala?

Conexión con mínimos cuadrados

La prueba más trivial jamás

Prueba de álgebra solo para OLS