Estimación de regresión lineal con OLS vs. ML

8

Suponga que voy a estimar una regresión lineal donde supongo $u\sim N(0,\sigma^2)$ . ¿Cuál es el beneficio de OLS frente a la estimación de ML? Sé que necesitamos saber una distribución de $u$ cuando usamos métodos ML, pero como supongo $u\sim N(0,\sigma^2)$ Si uso ML u OLS, este punto parece ser irrelevante. Por lo tanto, la única ventaja de OLS debería estar en las características asintóticas de $\beta$ estimadores ¿O tenemos otras ventajas del método OLS?

regression least-squares linear-model

— MarkDollar
fuente

14

Usando las notaciones habituales, la probabilidad logarítmica del método ML es

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$ .

Tiene que ser maximizado con respecto a $\beta_0$ y $\beta_1$ .

Pero, es fácil ver que esto es equivalente a minimizar

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}$ .

Por lo tanto, tanto ML como OLS conducen a la misma solución.

Se proporcionan más detalles en estas bonitas notas de clase .

— ocram
fuente

Gracias por tu respuesta ocram. Está claro que ambos métodos conducen a la misma solución. Pero el OLS debería ser más poderoso ya que los estimadores son más eficientes que los estimadores de ML, ¿no? Me pregunto acerca de las diferencias y las ventajas de ambos métodos en el contexto al asumir

u \sim N (0, σ^{2})

$u\sim N(0,\sigma^2)$ y estoy interesado en las características de los estimadores. Los valores para

β

$\beta$ son idénticos, pero tengo en cuenta que las características asintóticas de los estimadores MCO son preferibles. dicho en términos generales: si ML y OLS dan los mismos resultados y características de los estimadores, ¿por qué deberíamos usar OLS?

— MarkDollar

10

El estimador de máxima verosimilitud es OLS. Como son exactamente iguales, tendrán las mismas propiedades asintóticas.

— Simon Byrne

4

Se está centrando en la parte incorrecta del concepto en su pregunta. La belleza de los mínimos cuadrados es que ofrece una respuesta fácil y agradable sin tener en cuenta la distribución, y si la distribución verdadera es normal, entonces también es la respuesta de probabilidad máxima (creo que este es el argumento de Gauss-Markov). Cuando tiene una distribución diferente a la normal, ML y OLS darán respuestas diferentes (pero si la distribución verdadera es cercana a la normal, las respuestas serán similares).

— Greg Snow
fuente

0

La única diferencia para las muestras finitas es que el estimador ML para la varianza residual está sesgado. No tiene en cuenta el número de regresores utilizados en el modelo.

— Druss2k
fuente