Intuición detrás de por qué la paradoja de Stein solo se aplica en dimensiones

El ejemplo de Stein muestra que la estimación de máxima verosimilitud de $n$ variables normalmente distribuidas con medias $\mu_1,\ldots,\mu_n$ varianzas $1$ es inadmisible (bajo una función de pérdida cuadrada) si f $n\ge 3$ . Para una prueba clara, vea el primer capítulo de Inferencia a gran escala: Métodos empíricos de Bayes para estimación, prueba y predicción de Bradley Effron.

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Mi pregunta es más bien: ¿Qué propiedad del espacio -dimensional (para n \ ge 3 ) le falta a \ mathbb {R} ^ 2 que facilite el ejemplo de Stein? Las posibles respuestas podrían ser sobre la curvatura de la n- esfera, o algo completamente diferente.$n$$n\ge 3$$\mathbb{R}^2$$n$

En otras palabras, ¿por qué es admisible el MLE en $\mathbb{R}^2$ ?

Edición 1: en respuesta a la preocupación de @mpiktas sobre 1.31 a partir de 1.30:

Edición 2 : en este documento , Stein demuestra que el MLE es admisible para $N=2$ .

La dicotomía entre los casos y para la admisibilidad del MLE de la media de una variable aleatoria normal multivariada dimensional es ciertamente impactante.$d < 3$$d \geq 3$$d$

Hay otro ejemplo muy famoso en probabilidad y estadística en el que hay una dicotomía entre los casos y . Esta es la recurrencia de una caminata aleatoria simple en la red . Es decir, el recorrido aleatorio simple dimensional es recurrente en 1 o 2 dimensiones, pero es transitorio en dimensiones. El análogo de tiempo continuo (en forma de movimiento browniano) también es válido.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Resulta que los dos están estrechamente relacionados.

Larry Brown demostró que las dos preguntas son esencialmente equivalentes. Es decir, el mejor estimador invariante de un vector medio normal multivariado dimensional es admisible si y solo si el movimiento browniano dimensional es recurrente.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

De hecho, sus resultados van mucho más allá. Para cualquier estimador sensible (es decir, Bayes generalizado) con riesgo acotado (generalizado) , existe una difusión dimensional correspondiente explícita (!) De tal manera que el el estimador es admisible si y solo si su difusión correspondiente es recurrente.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

La media local de esta difusión es esencialmente la discrepancia entre los dos estimadores, es decir, y la covarianza de la difusión es . A partir de esto, es fácil ver que para el caso de MLE , recuperamos (reescalamos) el movimiento browniano.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Entonces, en cierto sentido, podemos ver la cuestión de la admisibilidad a través de la lente de los procesos estocásticos y utilizar propiedades bien estudiadas de las difusiones para llegar a las conclusiones deseadas.

Referencias

1. L. Brown (1971). Estimadores admisibles, difusiones recurrentes y problemas insolubles de valor límite . Ana. Matemáticas. Stat. vol. 42, no. 3, págs. 855-903.
2. RN Bhattacharya (1978). Criterios de recurrencia y existencia de medidas invariantes para difusiones multidimensionales . Ana. Prob. vol. 6, no. 4, 541–553.

@cardinal dio una gran respuesta (+1), pero todo el problema sigue siendo misterioso a menos que uno esté familiarizado con las pruebas (y yo no lo estoy). Así que creo que queda la pregunta de cuál es una razón intuitiva por la cual la paradoja de Stein no aparece en y .$\mathbb R$$\mathbb R^2$

Encuentro muy útil una perspectiva de regresión ofrecida en Stephen Stigler, 1990, A Galtonian Perspective on Shrinkage Estimators . Considere las mediciones independientes , cada una de las cuales mide subyacente (no observada) y se muestrea a partir de . Si de alguna manera supiéramos el , podríamos hacer un diagrama de dispersión de pares :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

La línea diagonal corresponde a ruido cero y estimación perfecta; en realidad el ruido no es cero y, por lo tanto, los puntos se desplazan de la línea diagonal en dirección horizontal . Correspondientemente, puede verse como una línea de regresión de en . Sin embargo, conocemos y queremos estimar , por lo que deberíamos considerar una línea de regresión de en , que tendrá una pendiente diferente, sesgada horizontalmente , como se muestra en la figura (línea discontinua).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Citando del artículo de Stigler:

Esta perspectiva galtoniana sobre la paradoja de Stein la hace casi transparente. Los estimadores "ordinarios" se derivan de la línea de regresión teórica de en . Esa línea sería útil si nuestro objetivo fuera predecir partir de , pero nuestro problema es el inverso, es decir, predecir partir de utilizando la suma de los errores al cuadrado como Un criterio. Para ese criterio, los estimadores lineales óptimos están dados por la línea de regresión de mínimos cuadrados de en$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$, y los estimadores James-Stein y Efron-Morris son ellos mismos estimadores de ese estimador lineal óptimo. Los estimadores "ordinarios" se derivan de la línea de regresión incorrecta, los estimadores de James-Stein y Efron-Morris se derivan de aproximaciones a la línea de regresión correcta.

Y ahora viene la parte crucial (énfasis agregado):

Incluso podemos ver por qué es necesario: si o , la línea de mínimos cuadrados de en debe pasar por los puntos , y por lo tanto para o , el dos líneas de regresión (de en y de en ) deben coincidir en cada .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Creo que esto hace que sea muy claro lo que es especial acerca de y .$k=1$$k=2$