Regresión sin intercepción: derivando

En Una Introducción al Aprendizaje Estadístico (James et al.), En la sección 3.7 ejercicio 5, establece que la fórmula para suponiendo una regresión lineal sin una intersección es donde y $\hat{\beta}_1$

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} x_{i} y_{i}}{\sum_{i = 1}^{n} x_{i}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$ son las estimaciones habituales en OLS para la regresión lineal simple (

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$ )

Este no es el ejercicio real ; Simplemente me pregunto cómo derivar la ecuación. Sin usar álgebra matricial , ¿cómo puedo derivarlo?

Mi intento: con $\hat{\beta}_0 = 0$ , tenemos $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$ .

Después de un poco de álgebra, se puede demostrar que $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ y $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$ . A partir de aquí, estoy atascado.

self-study least-squares

— Clarinetista
fuente

La fórmula es inmediata a partir de la interpretación geométrica de mínimos cuadrados , utilizando

x / | | x | |

$x/||x||$ como un "emparejador" para

y

$y$ y reconociendo la fórmula para

({\hat{β}}_{1}) x

$(\hat\beta_1)x$ como siendo

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$ .

— whuber

@whuber: en lugar de escribir

x / | | x | |,

$x/||x||,$ Yo escribiría

x / ‖ x ‖ .

$x/\|x\|.$ Si eso no es lo suficientemente notorio para usted, considere la diferencia tipográfica entre

| | x | | | | y | |,

$||x|| ||y||,$ codificado como || x || || y ||, y

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$ codificado como \ | x \ | \ | y \ |.

$\qquad$

— Michael Hardy

Esto es directo de la definición de mínimos cuadrados ordinarios. Si no hay intercepción, uno está minimizando $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ . Esto es suave en función de $\beta$ , por lo que todos los mínimos (o máximos) ocurren cuando la derivada es cero. Diferenciando con respecto a $\beta$ obtenemos $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ . Resolviendo para $\beta$ da la formula.

— meh
fuente