Usando MLE vs. OLS

¿Cuándo es preferible utilizar la Estimación de máxima verosimilitud en lugar de los mínimos cuadrados ordinarios? ¿Cuáles son las fortalezas y limitaciones de cada uno? Estoy tratando de reunir conocimientos prácticos sobre dónde usar cada uno en situaciones comunes.

regression maximum-likelihood least-squares

— usuario38133
fuente

Como se explica aquí , OLS es solo una instancia particular de MLE. Aquí hay una pregunta estrechamente relacionada, con una derivación de OLS en términos de MLE.

La distribución condicional corresponde a su modelo de ruido (para OLS: gaussiano y la misma distribución para todas las entradas). Hay otras opciones (t-Student para tratar los valores atípicos o permitir que la distribución del ruido dependa de la entrada )

— jpmuc
fuente

t

$t$

El OLS es un método de aproximación / estimación que minimiza la distancia, mientras que el ML es un método de maximización de "probabilidad". OLS no necesita suposiciones estocásticas para proporcionar su solución para minimizar la distancia, mientras que ML comienza asumiendo una función de densidad / masa de probabilidad conjunta. El hecho de que, en algunas circunstancias, los dos proporcionen la misma solución, de ninguna manera hace que uno sea un caso particular del otro.

— Alecos Papadopoulos