¿Por qué los métodos de regresión de mínimos cuadrados y máxima verosimilitud no son equivalentes cuando los errores no se distribuyen normalmente?

El título lo dice todo. Entiendo que los mínimos cuadrados y la máxima verosimilitud darán el mismo resultado para los coeficientes de regresión si los errores del modelo se distribuyen normalmente. Pero, ¿qué sucede si los errores no se distribuyen normalmente? ¿Por qué los dos métodos ya no son equivalentes?

Respuesta corta

La densidad de probabilidad de una variable distribuida gaussiana multivariada , con media está relacionada con el cuadrado del euclídeo distancia entre la media y la variable ( ), o en otras palabras, la suma de los cuadrados.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Respuesta larga

Si multiplica múltiples distribuciones gaussianas para sus errores, donde asume desviaciones iguales, entonces obtiene una suma de cuadrados.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

o en la forma logarítmica conveniente:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Entonces, optimizar la para minimizar la suma de los cuadrados es igual a maximizar la probabilidad (log) (es decir, el producto de múltiples distribuciones gaussianas o la distribución gaussiana multivariada).$\mu$

Es este cuadrado anidado de la diferencia dentro de la estructura exponencial, , que otras distribuciones no tienen.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Compare, por ejemplo, con el caso de las distribuciones de Poisson

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

que tiene un máximo cuando se minimiza lo siguiente:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

que es una bestia diferente

---

Además (historia)

La historia de la distribución normal (ignorando que deMoivre llega a esta distribución como una aproximación a la distribución binomial) es en realidad como el descubrimiento de la distribución que hace que el MLE corresponda al método de mínimos cuadrados (en lugar de que el método de mínimos cuadrados sea un método que puede expresar el MLE de la distribución normal, primero vino el método de mínimos cuadrados, segundo vino la distribución gaussiana)

Tenga en cuenta que a Gauss, al conectar el 'método de máxima verosimilitud' con el 'método de mínimos cuadrados', se le ocurrió la 'distribución gaussiana', , como la única distribución de errores que nos lleva a Haga esta conexión entre los dos métodos.$e^{-x^2}$

De la traducción de Charles Henry Davis (Teoría del movimiento de los cuerpos celestes que se mueven alrededor del sol en secciones cónicas. Una traducción del "Motivo Theoria" de Gauss, con un apéndice) ...

Gauss define:

Por consiguiente, la probabilidad de ser asignada a cada error se expresará mediante una función de que denotaremos por .$\Delta$$\Delta$$\psi \Delta$

^{(Cursiva hecha por mí)}

Y continúa ( en la sección 177 pp. 258 ):

... de donde se deduce fácilmente que debe ser una cantidad constante. que denotaremos por . Por lo tanto, tenemos denota la base de los logaritmos hiperbólicos por y suponiendo$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

terminando (después de la normalización y realizando ) en$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Escrito por StackExchangeStrike

Porque el MLE se deriva de la suposición de residuos distribuidos normalmente.

Tenga en cuenta que

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

No tiene un significado probabilístico : solo encuentra el que minimiza la función de pérdida al cuadrado. Todo es determinista y no hay componentes aleatorios allí.$\beta$

Donde el concepto de probabilidad y probabilidad viene, suponemos

$$y=X\beta + \epsilon$$

Donde estamos considerando como una variable aleatoria, y se distribuye normalmente.$y$$\epsilon$

Los mínimos cuadrados y el ajuste de probabilidad máximo (gaussiano) son siempre equivalentes. Es decir, se minimizan por el mismo conjunto de coeficientes.

Cambiar la suposición sobre los errores cambia su función de probabilidad (maximizar la probabilidad de un modelo es equivalente a maximizar la probabilidad del término de error) y, por lo tanto, la función ya no se minimizará con el mismo conjunto de coeficientes.

Entonces, en la práctica, los dos son iguales, pero en teoría, cuando maximizas una probabilidad diferente, obtendrás una respuesta diferente que los mínimos cuadrados

Un ejemplo concreto: supongamos que tomamos una función de error simple p (1) =. 9, p (-9) = .10. Si tomamos dos puntos, entonces LS solo tomará la línea a través de ellos. ML, por otro lado, supondrá que ambos puntos son una unidad demasiado alta y, por lo tanto, tomará la línea a través de los puntos desplazados hacia abajo en la unidad.