Regresión lineal: ¿alguna distribución no normal que proporcione identidad de OLS y MLE?

13

Esta pregunta está inspirada en la larga discusión en los comentarios aquí: ¿Cómo usa la regresión lineal la distribución normal?

En el modelo de regresión lineal habitual, para simplificar aquí escrito con un solo predictor:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ donde

x_{i}

$x_i$ son constantes conocidas y

ϵ_{i}

$\epsilon_i$ son términos de error independientes de media cero. Si además asumimos distribuciones normales para los errores, entonces los estimadores de mínimos cuadrados usuales y los estimadores de máxima verosimilitud de

β_{0}, β_{1}

$\beta_0, \beta_1$ son idénticos.

Entonces, mi pregunta fácil: ¿existe alguna otra distribución para los términos de error de manera que el mle sea idéntico al estimador de mínimos cuadrados ordinario? La una implicación es fácil de mostrar, la otra no.

— kjetil b halvorsen
fuente

1

(+1) Tendría que ser una distribución centrada alrededor de cero, y parecería que ayudaría si fuera simétrica. Algunos candidatos que vienen a mi mente, como la distribución t- o Laplace, no parecen funcionar, ya que el MLE, incluso en el único caso constante, no está disponible en forma cerrada o dada por la mediana, respectivamente.

— Christoph Hanck

ver también stats.stackexchange.com/questions/99014/… , parece que hay mucho para encontrar

— Christoph Hanck

Estoy seguro de que la respuesta es no. Sin embargo, puede ser difícil escribir una prueba rigurosa.

— Gordon Smyth

11

En la estimación de máxima verosimilitud, calculamos

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

la última relación teniendo en cuenta la estructura de linealidad de la ecuación de regresión.

En comparación, el estimador OLS satisface

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Para obtener expresiones algebraicas idénticas para los coeficientes de pendiente, necesitamos tener una densidad para el término de error tal que

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Estas son ecuaciones diferenciales de la forma que tienen soluciones $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Cualquier función que tenga este núcleo y se integre a la unidad sobre un dominio apropiado, hará que el MLE y el OLS sean idénticos para los coeficientes de pendiente. A saber estamos buscando

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

¿Existe tal que no sea la densidad normal (o la media normal o la derivada de la función de error)? $g$

Ciertamente. Pero una cosa más que hay que tener en cuenta es lo siguiente: si se usa el signo más en el exponente y un soporte simétrico alrededor de cero, por ejemplo, se obtendrá una densidad que tiene un mínimo único en el medio y dos máximos locales en Los límites del soporte.

— Alecos Papadopoulos
fuente

Gran respuesta (+1), pero si uno usa un signo más en la función, ¿es incluso una densidad? Parecería entonces que la función tiene una integral infinita y, por lo tanto, no se puede normalizar a una función de densidad. Si ese es el caso, solo nos queda la distribución normal.

— Vuelva a instalar Monica

1

@Ben Gracias. Parece que está asumiendo implícitamente que el rango de la variable aleatoria será más / menos infinito. Pero podemos definir un rv para que se extienda en un intervalo acotado, en cuyo caso podemos usar muy bien el signo más. Es por eso que en mis expresiones utilicé como límites de integración

.

(a, b)

$(a,b)$

— Alecos Papadopoulos

Eso es cierto, estaba asumiendo eso.

— Restablecer Monica

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$ are acceptable since the factor

f_{0} (y | x)

$f_0(y|x)$ does not depend on the parameter

(β_{0}, β_{1})

$(\beta_0,\beta_1)$ . There is therefore an infinity of such distributions.

Another setting where both estimators coincide is when the data comes from a spherically symmetric distribution, namely when the (vector) data $\mathbf{y}$ has conditional density

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$ with

h (\cdot)

$h(\cdot)$ a decreasing function. (In this case the OLS is still available although the assumption of the independence of the

ϵ_{i}

$\epsilon_i$ 's only holds in the Normal case.)

— Xi'an
fuente

1

This does not look correct to me. If you use a different spherically symmetric distribution, wouldn't that lead to minimisation of a different function of the norm than the square (thus not being least-squares estimation)?

— Reinstate Monica

1

I didn't know about this question until @Xi'an just updated with an answer. There is a more generic solution. Exponential family distributions with some parameters fixed yield to Bregman divergences. For such distributions mean is the minimizer. OLS minimizer is also the mean. Therefore for all such distributions they should coincide when the linear functional is linked to the mean parameter.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
fuente