Preguntas etiquetadas con least-squares

Se refiere a una técnica de estimación general que selecciona el valor del parámetro para minimizar la diferencia al cuadrado entre dos cantidades, como el valor observado de una variable y el valor esperado de esa observación condicionado al valor del parámetro. Los modelos lineales gaussianos se ajustan por mínimos cuadrados y los mínimos cuadrados es la idea subyacente al uso del error cuadrático medio (MSE) como una forma de evaluar un estimador.

1
Prueba de fórmula LOOCV
De una Introducción al aprendizaje estadístico de James et al., La estimación de validación cruzada de dejar uno fuera (LOOCV) se define por CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i dondeMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Sin prueba, la ecuación (5.2) establece que para una regresión de mínimos cuadrados o polinomios (si esto se aplica a la …
3
¿Por qué no usar las "ecuaciones normales" para encontrar coeficientes de mínimos cuadrados simples?
Vi esta lista aquí y no podía creer que hubiera tantas formas de resolver mínimos cuadrados. Las "ecuaciones normales" en la Wikipedia parecían ser una forma bastante α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Entonces, ¿por qué no solo usarlos? …
1
Sesgo variable omitido en la regresión logística versus sesgo variable omitido en la regresión de mínimos cuadrados ordinarios
Tengo una pregunta sobre el sesgo variable omitido en la regresión logística y lineal. Digamos que omito algunas variables de un modelo de regresión lineal. Imagine que esas variables omitidas no están correlacionadas con las variables que incluí en mi modelo. Esas variables omitidas no sesgan los coeficientes en mi …
4
¿Cuál es la relación entre y F-Test?
Me preguntaba si hay una relación entre y una prueba F.R2R2R^2 Por lo general, y mide la fuerza del relación lineal en la regresión.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Una prueba F solo prueba una hipótesis. ¿Existe una relación entre …
1
Definición y convergencia de mínimos cuadrados re ponderados iterativamente
He estado usando mínimos cuadrados iterativamente ponderados (IRLS) para minimizar las funciones de la siguiente forma, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) donde NNN es el número de instancias de xi∈Rxi∈Rx_i \in \mathbb{R} , m∈Rm∈Rm \in \mathbb{R} es la estimación sólida que quiero, y ρρ\rho es una …
2
Medidas de heteroscedasticidad residual
Este enlace de wikipedia enumera una serie de técnicas para detectar la heterocedasticidad residual de OLS. Me gustaría saber qué técnica práctica es más eficiente en la detección de regiones afectadas por la heterocedasticidad. Por ejemplo, aquí la región central en la trama 'Residuals vs Fitted' de OLS tiene una …
1
¿Por qué esta regresión NO falla debido a la perfecta multicolinealidad, aunque una variable es una combinación lineal de otras?
Hoy, estaba jugando con un pequeño conjunto de datos y realicé una regresión OLS simple que esperaba que fallara debido a la perfecta multicolinealidad. Sin embargo, no fue así. Esto implica que mi comprensión de la multicolinealidad es incorrecta. Mi pregunta es: ¿Dónde me equivoco? Creo que puedo mostrar que …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.