Estadísticas y Big Data least-squares

1

Relación entre MLE y mínimos cuadrados en caso de regresión lineal

Hastie y Tibshirani mencionan en la sección 4.3.2 de su libro que en la configuración de regresión lineal, el enfoque de mínimos cuadrados es, de hecho, un caso especial de máxima verosimilitud. ¿Cómo podemos probar este resultado? PD: no ahorres detalles matemáticos.

9 regression maximum-likelihood least-squares

2

Los supuestos de los mínimos cuadrados

Suponga la siguiente relación lineal: Yi=β0+β1Xi+uiYyo=β0 0+β1Xyo+tuyoY_i = \beta_0 + \beta_1 X_i + u_i , donde YiYyoY_i es la variable dependiente, XiXyoX_i una variable independiente y uituyou_i el término de error. Según Stock & Watson (Introducción a la Econometría; Capítulo 4 ), el tercer supuesto de mínimos cuadrados es que …

9 regression least-squares assumptions bias consistency

1

Modelo lineal donde los datos tienen incertidumbre, usando R

Digamos que tengo datos que tienen cierta incertidumbre. Por ejemplo: X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 La naturaleza de la incertidumbre podría ser repetir mediciones o experimentos, o medir la incertidumbre del instrumento, por ejemplo. Me gustaría ajustar una curva con R, algo que …

9 r least-squares error-propagation

1

Definición de pesos mínimos cuadrados ponderados: función R lm vs.

¿Alguien podría decirme por qué obtengo resultados diferentes de Rmínimos cuadrados ponderados y solución manual por operación de matriz ? Específicamente, estoy tratando de resolver manualmente , donde es la matriz diagonal en los pesos, es la matriz de datos, es la respuesta vector. W A bW A x = …

9 r regression least-squares weighted-regression weighted-data

1

¿Qué es ordinario, en mínimos cuadrados ordinarios?

Un amigo mío recientemente preguntó qué es tan ordinario, acerca de los mínimos cuadrados ordinarios. No parecemos llegar a ninguna parte en la discusión. Ambos coincidimos en que OLS es un caso especial del modelo lineal, tiene muchos usos, es bien conocido y es un caso especial de muchos otros …

9 regression linear-model least-squares terminology

2

Es OLS asintóticamente eficiente bajo heterocedasticidad

Sé que OLS es imparcial pero no eficiente bajo heteroscedasticidad en una configuración de regresión lineal. En Wikipedia http://en.wikipedia.org/wiki/Minimum_mean_square_error El estimador MMSE es asintóticamente imparcial y converge en distribución a la distribución normal: , donde I (x) es la información de Fisher de x. Por lo tanto, el estimador MMSE …

9 least-squares heteroscedasticity efficiency

2

¿Cómo se relacionan los residuos con las perturbaciones subyacentes?

En el método de mínimos cuadrados queremos estimar los parámetros desconocidos en el modelo: Yj=α+βxj+εj(j=1...n)Yj=α+βxj+εj(j=1...n)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) Una vez que hayamos hecho eso (para algunos valores observados), obtenemos la línea de regresión ajustada: Yj= α^+ β^x + ej( J = 1 , . …

9 regression least-squares residuals heteroscedasticity assumptions

3

¿Cuál es la importancia de la matriz del sombrero, , en regresión lineal?

¿Cuál es la importancia de la matriz del sombrero, , en el análisis de regresión?H=X(X′X)−1X′H=X(X′X)−1X′H=X(X^{\prime}X )^{-1}X^{\prime} ¿Es solo para un cálculo más fácil?

9 regression multiple-regression least-squares

1

¿Aplicando la regresión de cresta para un sistema de ecuaciones subdeterminado?

Cuando , el problema de mínimos cuadrados que impone una restricción esférica en el valor de se puede escribir como para un sistema sobredeterminado. \ | \ cdot \ | _2 es la norma euclidiana de un vector.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y …

9 regression least-squares regularization ridge-regression underdetermined

1

¿Bajo qué supuestos el método de mínimos cuadrados ordinarios da estimadores eficientes e imparciales?

¿Es cierto que bajo los supuestos de Gauss Markov el método de mínimos cuadrados ordinarios proporciona estimadores eficientes e imparciales? Entonces: mi( ut) = 0mi(tut)=0 0E(u_t)=0 para todottt mi( uttus) = σ2mi(tuttus)=σ2E(u_tu_s)=\sigma^2 parat = st=st=s mi( uttus) = 0mi(tuttus)=0 0E(u_tu_s)=0 parat ≠ st≠st\neq s donde son los residuos.tutuu

9 regression self-study least-squares

2

Teorema de Gauss-Markov: AZUL y OLS

Estoy leyendo el teorema de Guass-Markov en Wikipedia , y esperaba que alguien pudiera ayudarme a descubrir el punto principal del teorema. Suponemos un modelo lineal, en forma de matriz, está dada por: y que estamos buscando la BLUE, β .y=Xβ+ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta De acuerdo con …

9 regression least-squares mse blue

2

Bootstrapping paramétrico, semiparamétrico y no paramétrico para modelos mixtos

Los siguientes injertos se toman de este artículo . Soy novato en bootstrap e intento implementar el bootstrapping paramétrico, semiparamétrico y no paramétrico para el modelo mixto lineal con R bootpaquete. Código R Aquí está mi Rcódigo: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + …

9 r mixed-model bootstrap central-limit-theorem stable-distribution time-series hypothesis-testing markov-process r correlation categorical-data association-measure meta-analysis r anova confidence-interval lm r bayesian multilevel-analysis logit regression logistic least-squares eda regression notation distributions random-variable expected-value distributions markov-process hidden-markov-model r variance group-differences microarray r descriptive-statistics machine-learning references r regression r categorical-data random-forest data-transformation data-visualization interactive-visualization binomial beta-distribution time-series forecasting logistic arima beta-regression r time-series seasonality large-data unevenly-spaced-time-series correlation statistical-significance normalization population group-differences demography

1

Rango de lambda en regresión neta elástica

\def\l{|\!|} Dada la regresión neta elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 ¿Cómo se puede elegir un rango apropiado de λλ\lambda para la validación cruzada? En el caso α=1α=1\alpha=1 (regresión de cresta) la fórmula dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} se …

9 least-squares lasso regularization ridge-regression elastic-net

2

¿Por qué no usar la variable instrumental directamente como una covariable en la regresión?

Sé que esta es una pregunta tonta, ya que conozco la teoría de las variables instrumentales y la regresión en dos etapas. Aún así, nunca vi una respuesta clara a lo siguiente: suponga que tiene endogeneidad debido a una variable no observada correlacionada con uno de los regresores iniciales. La …

8 regression least-squares instrumental-variables

2

¿Cuáles son las propiedades de MLE que lo hacen más deseable que OLS?

Esta pregunta parece lo suficientemente fundamental como para estar convencido de que se ha respondido aquí en alguna parte, pero no la he encontrado. Entiendo que si la variable dependiente en una regresión se distribuye normalmente, la probabilidad máxima y los mínimos cuadrados ordinarios producen las mismas estimaciones de parámetros. …

8 regression maximum-likelihood least-squares blue

Preguntas etiquetadas con least-squares