Visión unificada sobre la contracción: ¿cuál es la relación (si la hay) entre la paradoja de Stein, la regresión de cresta y los efectos aleatorios en modelos mixtos?

Considere los siguientes tres fenómenos.

1. Paradoja de Stein: dados algunos datos de la distribución normal multivariada en , la media muestral no es un muy buen estimador de la media real. Se puede obtener una estimación con un error cuadrático medio menor si se reducen todas las coordenadas de la media muestral hacia cero [o hacia su media, o en realidad hacia cualquier valor, si entiendo correctamente].$\mathbb R^n, \: n\ge 3$

   NB: por lo general, la paradoja de Stein se formula considerando solo un único punto de datos de ; corríjame si esto es crucial y mi formulación anterior no es correcta.$\mathbb R^n$

2. Regresión de cresta: dada alguna variable dependiente algunas variables independientes , la regresión estándar tiende sobreajustar los datos y conducir a un bajo rendimiento fuera de la muestra. A menudo se puede reducir el sobreajuste reduciendo hacia cero: .$\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. Efectos aleatorios en modelos multinivel / mixtos: dada alguna variable dependiente (por ejemplo, la altura del estudiante) que depende de algunos predictores categóricos (por ejemplo, identificación de la escuela y género del estudiante), a menudo se recomienda tratar algunos predictores como 'aleatorios', es decir, suponer que La altura media del alumno en cada escuela proviene de una distribución normal subyacente. Esto da como resultado una reducción de las estimaciones de la altura media por escuela hacia la media global.$y$

Tengo la sensación de que todo esto son varios aspectos del mismo fenómeno de "contracción", pero no estoy seguro y ciertamente carecen de una buena intuición al respecto. Entonces, mi pregunta principal es: ¿existe realmente una profunda similitud entre estas tres cosas, o es solo una apariencia superficial? ¿Cuál es el tema común aquí? ¿Cuál es la intuición correcta al respecto?

Además, aquí hay algunas piezas de este rompecabezas que realmente no encajan para mí:

• En la regresión de cresta, no se reduce uniformemente; la contracción de la cresta se relaciona realmente con la descomposición de valores singulares de , y las direcciones de baja varianza se reducen más (ver, por ejemplo, Los elementos del aprendizaje estadístico 3.4.1). Pero el estimador James-Stein simplemente toma la media de la muestra y la multiplica por un factor de escala. ¿Cómo encaja eso?$\beta$$\mathbf X$

  Actualización: vea el Estimador James-Stein con variaciones desiguales y, por ejemplo, aquí con respecto a las variaciones de los coeficientes .$\beta$

• La media de la muestra es óptima en las dimensiones inferiores a 3. ¿Significa que cuando solo hay uno o dos predictores en el modelo de regresión, la regresión de cresta siempre será peor que los mínimos cuadrados ordinarios? En realidad, ahora que lo pienso, no puedo imaginar una situación en 1D (es decir, regresión simple, no múltiple) donde la contracción de la cresta sería beneficiosa ...

  Actualización: No. Vea ¿ En qué condiciones es la regresión de cresta capaz de proporcionar una mejora sobre la regresión de mínimos cuadrados ordinarios?

• Por otro lado, la media muestral siempre es subóptima en dimensiones superiores a 3. ¿Significa que con más de 3 predictores la regresión de cresta siempre es mejor que la MCO, incluso si todos los predictores no están correlacionados (ortogonales)? Por lo general, la regresión de cresta está motivada por la multicolinealidad y la necesidad de "estabilizar" el término .$(\mathbf X^\top \mathbf X)^{-1}$

  Actualización: ¡Sí! Ver el mismo hilo que el anterior.

• A menudo hay una discusión acalorada sobre si varios factores en ANOVA deben incluirse como efectos fijos o aleatorios. ¿No deberíamos, por la misma lógica, tratar siempre un factor como aleatorio si tiene más de dos niveles (o si hay más de dos factores? Ahora estoy confundido)?

  Actualización: ?

---

Actualización: obtuve algunas respuestas excelentes, pero ninguna proporciona una imagen general suficiente, por lo que dejaré que la pregunta se "abra". Puedo prometer otorgar una recompensa de al menos 100 puntos a una nueva respuesta que superará las existentes. Principalmente busco una visión unificadora que pueda explicar cómo se manifiesta el fenómeno general de la contracción en estos diversos contextos y señalar las principales diferencias entre ellos.

Conexión entre el estimador James-Stein y la regresión de cresta

Sea un vector de observación de de longitud , , el estimador de James-Stein es, En términos de regresión de cresta, podemos estimar través de donde la solución es Es fácil ver que los dos estimadores están en la misma forma, pero necesitamos estimar$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$ en el estimador James-Stein, y determine en la regresión de cresta mediante validación cruzada.$\lambda$

Conexión entre el estimador James-Stein y los modelos de efectos aleatorios

Analicemos primero los modelos de efectos mixtos / aleatorios en genética. El modelo es Si no hay efectos fijos y , el modelo se convierte en que es equivalente a la configuración del estimador James-Stein, con algunos Idea bayesiana.

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Conexión entre modelos de efectos aleatorios y regresión de crestas

Si nos centramos en los modelos de efectos aleatorios anteriores, La estimación es equivalente a resolver el problema cuando . La prueba se puede encontrar en el Capítulo 3 de Reconocimiento de patrones y aprendizaje automático .

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Conexión entre modelos de efectos aleatorios (multinivel) y en genética

En el modelo de efectos aleatorios anterior, la dimensión de es y la de es . Si vectorizamos como y repetimos correspondientemente, entonces tenemos la estructura jerárquica / agrupada, los grupos y cada uno con unidades. Si regresamos en repetido , entonces podemos obtener el efecto aleatorio de en para cada grupo, aunque es algo así como una regresión inversa.$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Reconocimiento : los primeros tres puntos se aprenden en gran medida de estos dos artículos chinos, 1 , 2 .

Voy a dejarlo como un ejercicio para que la comunidad desarrolle esta respuesta, pero en general la razón por la cual los estimadores de contracción * dominarán * estimadores imparciales en muestras finitas es porque los estimadores Bayes no pueden ser dominados , y muchos estimadores de contracción pueden derivarse como Bayes. $^1$$^2$$^3$$^4$

Todo esto cae bajo los auspicios de la Teoría de la Decisión. Una referencia exhaustiva, pero poco amistosa, es la "Teoría de la estimación puntual" de Lehmann y Casella. ¿Quizás otros pueden intervenir con referencias más amigables?

---

$^1$ Un estimador del parámetro en los datos está dominado por otro estimador si para cada el riesgo (por ejemplo, error cuadrático medio) de es igual o mayor que , y supera a para al menos un . En otras palabras, obtienes un rendimiento igual o mejor para en todas partes del espacio de parámetros.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ Un estimador es Bayes (bajo la pérdida de error al cuadrado de todos modos) si es la expectativa posterior de , dados los datos, bajo algún anterior , por ejemplo, , donde la expectativa se toma con la posterior. Naturalmente, diferentes antecedentes conducen a diferentes riesgos para diferentes subconjuntos de . Un ejemplo de juguete importante es el anterior que pone todos los anteriores masa sobre el punto . Luego puede mostrar que el estimador de Bayes es la función constante$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, que por supuesto tiene un rendimiento extremadamente bueno en y cerca de , y un rendimiento muy malo en otros lugares. Pero, sin embargo, no se puede dominar, porque solo ese estimador conduce a un riesgo cero en .$\theta_0$$\theta_0$

$^3$ Una pregunta natural es si algún estimador que no puede ser dominado (llamado admisible , ¿aunque no sería indomable ser más elegante?) Necesita ser Bayes? La respuesta es casi. Ver "teoremas de clase completos".

$^4$ Por ejemplo, la regresión de cresta surge como un procedimiento bayesiano cuando coloca un Normal (0, ) antes en , y surgen modelos de efectos aleatorios como un procedimiento bayesiano empírico en un marco similar . Estos argumentos se complican por el hecho de que la versión vainilla de los teoremas de admisibilidad bayesianos supone que cada parámetro tiene un previo adecuado. Incluso en la regresión de cresta, eso no es cierto, porque el "previo" se coloca en la varianza$1/\lambda^2$$\beta$$\sigma^2$del término de error es la función constante (medida de Lebesgue), que no es una distribución de probabilidad adecuada (integrable). Sin embargo, se puede demostrar que muchos de estos estimadores de Bayes "parcialmente" son admisibles al demostrar que son el "límite" de una secuencia de estimadores que son Bayes apropiados. Pero las pruebas aquí se vuelven más complicadas y delicadas. Ver "estimadores bayes generalizados".

• James-Stein supone que la dimensión de respuesta es al menos 3. En la regresión de cresta estándar, la respuesta es unidimensional. Está confundiendo el número de predictores con la dimensión de respuesta.

• Dicho esto, veo la similitud entre esas situaciones, pero qué hacer exactamente, por ejemplo, si un factor debe ser fijo o aleatorio, cuánta contracción aplicar, si es que depende, depende del conjunto de datos en particular. Por ejemplo, cuanto más ortogonales son los predictores, menos sentido tiene elegir la regresión de Ridge sobre la regresión estándar. Cuanto mayor sea el número de parámetros, más sentido tiene extraer el previo del conjunto de datos a través de Empirical Bayes y luego usarlo para reducir las estimaciones de los parámetros. Cuanto mayor sea la relación señal / ruido, menores serán los beneficios de la contracción, etc.

Como otros han dicho, la conexión entre los tres es cómo incorporas la información previa en la medición.

1. En el caso de la paradoja de Stein, sabe que la verdadera correlación entre las variables de entrada debe ser cero (y todas las medidas de correlación posibles, ya que quiere implicar independencia, no solo falta de correlación), por lo tanto, puede construir una variable mejor que la simple muestra media y suprime las diversas medidas de correlación. En el marco bayesiano, puede construir un previo que literalmente disminuya los eventos que conducen a la correlación entre las medias de la muestra y el aumento de los demás.
2. En caso de regresión de cresta, desea encontrar una buena estimación del valor de expectativa condicional E (y | x). En principio, este es un problema de dimensión infinita y mal definido ya que solo tenemos un número finito de mediciones. Sin embargo, el conocimiento previo es que estamos buscando una función continua que modele los datos. Esto todavía está mal definido, ya que todavía hay infinitas maneras de modelar funciones continuas, pero el conjunto es algo más pequeño. La regresión de cresta es solo una forma simple de ordenar las posibles funciones continuas, probarlas y detenerse en un grado final de libertad. Una interpretación es la imagen de la dimensión VC: durante la regresión de la cresta, verificas qué tan bien un modelo af (x, p1, p2 ...) con un grado de libertad dado describe la incertidumbre inherente a los datos. Prácticamente, mide qué tan bien puede f (x, p1, p2 ... ) y la P empírica (p1, p2 ...) puede reconstruir la distribución completa de P (y | x) y no solo E (y | x). De esta forma, los modelos con demasiado grado de libertad (que generalmente se sobreajustan) se pesan, ya que una media mayor de parámetros después de un cierto grado de libertad dará correlaciones más grandes entre los parámetros y, en consecuencia, P mucho más amplio (f (x, p1, p2. ..)) distribuciones. Otra interpretación es que la función de pérdida original es también un valor de medida, y si la evaluación en una muestra dada viene con una incertidumbre, por lo que la tarea real no es minimizar la función de pérdida, sino encontrar un mínimo que sea significativamente menor que el otros (prácticamente cambiar de un grado de libertad a otro es una decisión bayesiana, por lo que uno cambia el número de parámetros solo si dan una disminución significativa en la función de pérdida). La regresión de cresta se puede interpretar como una aproximación a estas dos imágenes (dimensión CV, pérdida esperada). En algunos casos, desea preferir mayores grados de libertad, por ejemplo, en física de partículas, estudia la colisión de partículas donde espera que el número de partículas producidas sea una distribución de Poisson, por lo que reconstruye la pista de partículas de una imagen (una foto, por ejemplo ) de una manera que prefiere un número determinado de pistas y suprime los modelos que tienen una interpretación de número de pista menor o mayor de la imagen.
3. El tercer caso también trata de implementar una información previa en la medición, es decir, se sabe a partir de mediciones anteriores que la altura de los estudiantes puede ser modelada muy bien por las distribuciones gaussianas y no por un Cauchy, por ejemplo.

En resumen, la respuesta es que puede reducir la incertidumbre de una medición si sabe qué esperar y clasificar los datos con algunos datos anteriores (la información previa). Estos datos anteriores son los que restringen la función de modelado que usa para ajustar las mediciones. En casos simples, puede escribir su modelo en el marco bayesiano, pero a veces no es práctico, como integrar todas las funciones continuas posibles para encontrar la que tiene el valor Bayesiano Máximo A Posterior.

Estimador de James Stein y regresión de Ridge

Considerar

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

Con $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

La solución de mínimos cuadrados es de la forma

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ , donde .$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$ es imparcial para y tiene una matriz de covarianza . Por eso podemos escribir$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ Tenga en cuenta que son las estimaciones de máxima verosimilitud, MLE.$\hat \beta$

James Stein

Por simplicidad de la Jame Stein asumiremos . James y Stein agregarán un previo en el , del formulario$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

Y obtendrá un posterior de la forma , luego estimará con y obtendrá un estimador James Stein de la forma$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$ .

Regresión de cresta

En la regresión de cresta, generalmente está estandarizado (media 0, desviación 1 para cada columna de ) de modo que los parámetros de regresión son comparables. Cuando esto es para .$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

Una estimación de regresión de cresta de se define como, , para ser$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ tenga en cuenta que es el MLE.$\hat \beta$

¿Cómo se derivó ? Recordar$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$ y si agregamos un previo Bayesiano

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Entonces tenemos

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

Igual que la estimación de regresión de cresta . Entonces, la forma original de James Stein dada aquí toma y .$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$