OLS es AZUL. Pero, ¿qué pasa si no me importa la imparcialidad y la linealidad?

El teorema de Gauss-Markov nos dice que el estimador OLS es el mejor estimador lineal imparcial para el modelo de regresión lineal.

Pero supongamos que no me importa la linealidad y la imparcialidad. Entonces, ¿hay algún otro estimador (posible no lineal / sesgado) para el modelo de regresión lineal que sea el más eficiente bajo los supuestos de Gauss-Markov o algún otro conjunto general de supuestos?

Por supuesto, hay un resultado estándar: OLS en sí mismo es el mejor estimador imparcial si, además de los supuestos de Gauss-Markov, también asumimos que los errores se distribuyen normalmente. Para alguna otra distribución particular de errores, podría calcular el estimador de máxima verosimilitud correspondiente.

Pero me preguntaba si hay algún estimador que sea mejor que OLS en un conjunto de circunstancias relativamente general.

Las estimaciones imparciales son típicas en los cursos introductorios de estadística porque son: 1) clásico, 2) fácil de analizar matemáticamente. El límite inferior Cramer-Rao es una de las principales herramientas para 2). Lejos de las estimaciones imparciales hay una posible mejora. El equilibrio de sesgo-varianza es un concepto importante en las estadísticas para comprender cómo las estimaciones sesgadas pueden ser mejores que las estimaciones no sesgadas.

Desafortunadamente, los estimadores sesgados suelen ser más difíciles de analizar. En regresión, gran parte de la investigación en los últimos 40 años se ha centrado en la estimación sesgada. Esto comenzó con la regresión de cresta (Hoerl y Kennard, 1970). Véanse Frank y Friedman (1996) y Burr and Fry (2005) para algunas revisiones e ideas.

El equilibrio de sesgo-varianza se vuelve más importante en las dimensiones altas, donde el número de variables es grande. Charles Stein sorprendió a todos cuando demostró que en el problema de las medias normales la media de la muestra ya no es admisible si (ver Stein, 1956). El estimador James-Stein (James y Stein 1961) fue el primer ejemplo de un estimador que domina la media muestral. Sin embargo, también es inadmisible.$p \geq 3$

Una parte importante del problema del sesgo-varianza es determinar cómo se debe cambiar el sesgo. No existe un único "mejor" estimador . La escasez ha sido una parte importante de la investigación en la última década. Ver Hesterberg et al. (2008) para una revisión parcial.

La mayoría de los estimadores referencia anteriormente son no lineal en . Incluso la regresión de cresta no es lineal una vez que los datos se utilizan para determinar el parámetro de cresta.$Y$

No sé si estás de acuerdo con el cálculo de Bayes. En caso afirmativo, dependiendo de la función de pérdida, puede obtener diferentes estimaciones de Bayes. Un teorema de Blackwell afirma que los estimados de Bayes nunca son imparciales. Un argumento teórico de decisión establece que cada regla admisible ((es decir, o cualquier otra regla contra la cual se compara), existe un valor del parámetro para el cual el riesgo de la presente regla es (estrictamente) menor que el de la regla contra la cual es siendo comparado)) es una regla de Bayes (generalizada).

Los estimadores de James-Stein son otra clase de estimadores (que pueden derivarse por métodos bayesianos asintóticamente) que son mejores que los MCO en muchos casos.

OLS puede ser inadmisible en muchas situaciones y el Estimador James-Stein es un ejemplo. (también llamada paradoja de Stein).

Hay un buen artículo de revisión de Kay y Eldar sobre la estimación sesgada con el fin de encontrar estimadores con un mínimo error cuadrático medio.