¿Bajo exactamente qué condiciones la regresión de cresta puede proporcionar una mejora sobre la regresión de mínimos cuadrados ordinarios?

La regresión de cresta estima los parámetros $\boldsymbol \beta$ en un modelo lineal by dondeß λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , $\mathbf y = \mathbf X \boldsymbol \beta$

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $\lambda$ es un parámetro de regularización. Es bien sabido que a menudo funciona mejor que la regresión OLS (con ) cuando hay muchos predictores correlacionados.$\lambda=0$

Un teorema de existencia para la regresión de crestas dice que siempre existe un parámetro tal que el error cuadrático medio de es estrictamente más pequeño que el error cuadrático medio de la MCO estimación . En otras palabras, un valor óptimo de siempre es distinto de cero. Aparentemente, esto se demostró por primera vez en Hoerl y Kennard, 1970, y se repite en muchas notas de conferencias que encuentro en línea (por ejemplo, aquí y aquí ). Mi pregunta es sobre los supuestos de este teorema:β λ β O L S = β 0$\lambda^* > 0$$\hat{\boldsymbol \beta}_\lambda$$\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$$\lambda$

1. ¿Hay alguna suposición sobre la matriz de covarianza ?$\mathbf X^\top \mathbf X$

2. ¿Hay alguna suposición sobre la dimensionalidad de$\mathbf X$ ?

En particular, ¿el teorema sigue siendo cierto si los predictores son ortogonales (es decir, es diagonal), o incluso si \ mathbf X ^ \ top \ mathbf X = \ mathbf I ? ¿Y sigue siendo cierto si solo hay uno o dos predictores (por ejemplo, un predictor y una intercepción)?X ⊤ X =$\mathbf X^\top \mathbf X$$\mathbf X^\top \mathbf X=\mathbf I$

Si el teorema no hace tales suposiciones y sigue siendo cierto incluso en estos casos, entonces ¿por qué la regresión de cresta generalmente se recomienda solo en el caso de predictores correlacionados, y nunca (?) Se recomienda para una regresión simple (es decir, no múltiple)?

---

Esto está relacionado con mi pregunta sobre la visión unificada sobre la contracción: ¿cuál es la relación (si la hay) entre la paradoja de Stein, la regresión de cresta y los efectos aleatorios en modelos mixtos? , pero no hay respuestas que aclaren este punto hasta ahora.

La respuesta a ambos 1 y 2 es no, pero se necesita cuidado al interpretar el teorema de la existencia.

Varianza del estimador de cresta

Sea la estimación de cresta bajo penalización k , y sea β el parámetro verdadero para el modelo Y = X β + ϵ . Deje que λ 1 , ... , λ p sea los valores propios de X T X . De las ecuaciones de Hoerl y Kennard 4.2-4.5, el riesgo (en términos de la norma L 2 esperada del error) es$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

donde, por lo que puedo decir, ( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. Observan queγ1tiene la interpretación de la varianza del producto interno de ^ β ∗ -β, mientras queγ

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ $\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$ es el producto interno del sesgo.

Suponiendo que , entonces R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$ Sea R′(k)=2k(1+k)βTβ-(pσ2+k2βTβ

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ será la derivada del riesgo w / r / tk. Como limk→0+R′(k)=-2pσ2<0, concluimos que hay algo dek∗>0tal queR(k∗)<R(0). $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$

$k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$ .

Comentario

$p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

¿Por qué la regresión de cresta generalmente se recomienda solo en el caso de predictores correlacionados?

$\beta ^T \beta$$X^T X$$\beta$$E Y$$X$ es sospechoso: la matriz de covarianza grande es un síntoma de eso.

Pero si su objetivo es únicamente la predicción, las preocupaciones de inferencia ya no se mantienen, y usted tiene un fuerte argumento para usar algún tipo de estimador de contracción.