Preguntas etiquetadas con least-squares

Se refiere a una técnica de estimación general que selecciona el valor del parámetro para minimizar la diferencia al cuadrado entre dos cantidades, como el valor observado de una variable y el valor esperado de esa observación condicionado al valor del parámetro. Los modelos lineales gaussianos se ajustan por mínimos cuadrados y los mínimos cuadrados es la idea subyacente al uso del error cuadrático medio (MSE) como una forma de evaluar un estimador.

3
¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal?
Entiendo que la estimación de regresión de cresta es la que minimiza la suma residual del cuadrado y una penalización en el tamaño deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Sin embargo, no entiendo completamente la importancia del hecho de que βridgeβridge\beta_\text{ridge} difiere de …
3
¿Error absoluto medio o error cuadrático medio raíz?
¿Por qué usar Root Mean Squared Error (RMSE) en lugar de Mean Absolute Error (MAE) ?? Hola He estado investigando el error generado en un cálculo: inicialmente calculé el error como un error cuadrático normalizado medio raíz. Mirando un poco más de cerca, veo que los efectos de cuadrar el …
59 least-squares  mean  rms  mae 
3
¿De dónde viene la idea errónea de que Y debe distribuirse normalmente?
Fuentes aparentemente de buena reputación afirman que la variable dependiente debe distribuirse normalmente: Suposiciones del modelo: YYY se distribuye normalmente, los errores se distribuyen normalmente, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) , e independiente, y XXX es fijo, y la varianza constante σ2σ2\sigma^2 . Penn State, STAT 504 Análisis de datos discretos En …
5
¿Cómo derivar la solución de regresión de cresta?
Tengo algunos problemas con la derivación de la solución para la regresión de crestas. Sé la solución de regresión sin el término de regularización: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Pero después de agregar el término L2 a la función de costo, ¿cómo es que la solución se convierte enλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX …
8
¿Es válido incluir una medida de referencia como variable de control cuando se prueba el efecto de una variable independiente en los puntajes de cambio?
Estoy intentando ejecutar una regresión de OLS: DV: cambio de peso durante un año (peso inicial - peso final) IV: Si haces ejercicio o no. Sin embargo, parece razonable que las personas más pesadas pierdan más peso por unidad de ejercicio que las personas más delgadas. Por lo tanto, quería …
1
Prueba de que los coeficientes en un modelo OLS siguen una distribución t con (nk) grados de libertad
Fondo Supongamos que tenemos un modelo de mínimos cuadrados ordinarios donde tenemos coeficientes en nuestro modelo de regresión, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} donde es un vector de coeficientes , es la matriz de diseño definida porββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & …
3
¿Cómo realizar la regresión ortogonal (mínimos cuadrados totales) a través de PCA?
Siempre uso lm()en R para realizar una regresión lineal de en . Esa función devuelve un coeficiente tal queyyyXxxββ\betay= βx .y=βx.y = \beta x. Hoy aprendí sobre mínimos cuadrados totales y esa princomp()función (análisis de componentes principales, PCA) se puede utilizar para realizarla. Debería ser bueno para mí (más preciso). …
1
Calcular la repetibilidad de los efectos de un modelo más antiguo
Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
2
¿Por qué se distribuye RSS chi square times np?
Me gustaría entender por qué, bajo el modelo OLS, el RSS (suma residual de cuadrados) se distribuye ( es el número de parámetros en el modelo, el número de observaciones).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Pido disculpas por hacer una pregunta tan básica, pero parece que no puedo encontrar la respuesta en línea (o …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.