- ¿Cuál es la propiedad oráculo de un estimador?
- ¿Para qué objetivos de modelado es relevante la propiedad del oráculo (predictivo, explicativo, ...)?
Las explicaciones teóricamente rigurosas y (especialmente) intuitivas son bienvenidas.
Las explicaciones teóricamente rigurosas y (especialmente) intuitivas son bienvenidas.
Respuestas:
Un oráculo sabe la verdad: conoce el verdadero subconjunto y está dispuesto a actuar en consecuencia. La propiedad del oráculo es que la distribución asintótica del estimador es la misma que la distribución asintótica del MLE solo en el soporte verdadero. Es decir, el estimador se adapta a conocer el verdadero soporte sin pagar un precio (en términos de distribución asintótica).
Por las propiedades de optimización asintótica del MLE discutido en, por ejemplo, las estadísticas teóricas de Keener en el teorema 9.14, sabemos, bajo algunas condiciones técnicas que se mantienen cuando, por ejemplo, el error es gaussiano, que donde suponemos que \ beta ^ * _ S es el coeficiente verdadero sobre el verdadero soporte S . Observe que la varianza de la distribución asintótica es la inversa de la información de Fisher, lo que demuestra que \ hat \ beta_S es asintóticamente eficiente. Dado que el MLE conoce el verdadero soporte logra esto, también se requiere como parte de la propiedad oracle.
Sin embargo, pagamos un alto precio no asintótico: ver, por ejemplo,
Hannes Leeb, Benedikt M. Pötscher, Estimadores dispersos y la propiedad del oráculo, o el regreso del estimador de Hodges, Journal of Econometrics, Volumen 142, Número 1, 2008, páginas 201-211,
lo que demuestra que el riesgo de cualquier "estimador de oráculo" (en el sentido de Fan y Li, 2001) tiene un supremum que diverge hasta el infinito.
La definición de la propiedad de Oracle está muy relacionada con el contexto. La respuesta muy corta pero precisa en regresión lineal (precisamente de alta dimensión) es esta:
un estimador de oráculo debe ser consistente en la estimación de parámetros y la selección de variables.
Observe que un estimador que es consistente en la selección de variables no es necesariamente consistente en la estimación de parámetros. Vea el papel de lazo adaptable para las definiciones matemáticas o simplemente vea estas diapositivas .