¿Cómo encontrar coeficientes de regresión en regresión de cresta?

En la regresión de cresta, la función objetivo a minimizar es:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

¿Se puede optimizar esto utilizando el método multiplicador de Lagrange? ¿O es una diferenciación directa?

regression regularization ridge-regression

— Minaj
fuente

¿Cuál es la conexión entre el título (que se enfoca en

λ

$\lambda$ ) y la pregunta (que parece ser solo sobre

β_{j}

$\beta_j$ )? Me preocupa que "ser optimizado" podría tener interpretaciones claramente diferentes dependiendo de qué variables se consideran las que se pueden variar y cuáles se deben corregir.

— whuber

Gracias modificó la pregunta. He leído que la

se encuentra por validación cruzada, pero creo que eso significa que ya tiene la

y utiliza datos diferentes para encontrar la mejor

pregunta es: ¿cómo se encuentran las

en primer lugar? cuando

es un desconocido?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj

Hay dos formulaciones para el problema de la cresta. El primero es

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

sujeto a

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

Esta formulación muestra la restricción de tamaño en los coeficientes de regresión. Tenga en cuenta lo que implica esta restricción; Estamos obligando a los coeficientes a descansar en una bola alrededor del origen con radio . $\sqrt{s}$

La segunda formulación es exactamente tu problema

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

que puede verse como la formulación del multiplicador Largrange. Tenga en cuenta que aquí es un parámetro de ajuste y sus valores más grandes conducirán a una mayor contracción. Puede proceder a diferenciar la expresión con respecto a y obtener el conocido estimador de cresta $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

Las dos formulaciones son completamente equivalentes , ya que existe una correspondencia uno-a-uno entre y . $s$ $\lambda$

Déjame explicar un poco sobre eso. Imagine que usted es en el caso ortogonal ideales, . Esta es una situación altamente simplificada y poco realista, pero podemos investigar el estimador un poco más de cerca, así que tengan paciencia conmigo. Considere lo que le sucede a la ecuación (1). El estimador de cresta se reduce a $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

como en el caso ortogonal, el estimador OLS está dado por . Mirando este componente sabio ahora obtenemos $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

Observe entonces que ahora la contracción es constante para todos los coeficientes. Es posible que esto no se cumpla en el caso general y, de hecho, se puede demostrar que las contracciones diferirán ampliamente si hay degeneraciones en la matriz $\mathbf{X}^{\prime} \mathbf{X}$

Pero volvamos al problema de optimización restringida. Según la teoría KKT , una condición necesaria para la optimización es

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

entonces o (en este caso decimos que la restricción es vinculante). Si entonces no hay penalización y estamos de vuelta en la situación normal de OLS. Supongamos entonces que la restricción es vinculante y estamos en la segunda situación. Usando la fórmula en (2), entonces tenemos $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

de donde obtenemos

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

la relación uno a uno previamente reclamada. Espero que esto sea más difícil de establecer en el caso no ortogonal, pero el resultado es independiente.

Sin embargo, vuelva a mirar (2) y verá que todavía nos falta la . Para obtener un valor óptimo, puede usar validación cruzada o mirar el rastro de cresta. El último método implica construir una secuencia de en (0,1) y observar cómo cambian las estimaciones. Luego selecciona el que los estabiliza. Por cierto, este método se sugirió en la segunda de las referencias a continuación y es el más antiguo. $\lambda$ $\lambda$ $\lambda$

Referencias

Hoerl, Arthur E. y Robert W. Kennard. "Regresión de cresta: estimación sesgada para problemas no ortogonales". Technometrics 12.1 (1970): 55-67.

Hoerl, Arthur E. y Robert W. Kennard. "Regresión de cresta: aplicaciones a problemas no ortogonales". Technometrics 12.1 (1970): 69-82.

— JohnK
fuente

La regresión de @Minaj Ridge tiene una contracción constante para todos los coeficientes (excepto la intersección). Es por eso que solo hay un multiplicador.

— JohnK

@amoeba Esta es una sugerencia de Hoerl y Kennard, las personas que introdujeron la regresión de crestas en la década de 1970. Según su experiencia, y la mía, los coeficientes se estabilizarán en ese intervalo incluso con grados extremos de multicolinealidad. Por supuesto, esta es una estrategia empírica y, por lo tanto, no se garantiza que funcione todo el tiempo.

— JohnK

También podría hacer el método de pseudoobservación y obtener las estimaciones con nada más complicado que un programa de regresión de mínimos cuadrados rectos. También puede investigar el efecto de cambiar

de manera similar.

λ

$\lambda$

— Glen_b: reinstala a Mónica el

@amoeba Es cierto que la cresta no es invariante de escala, por eso es una práctica común estandarizar los datos de antemano. He incluido las referencias relevantes en caso de que quiera echar un vistazo. Son inmensamente interesantes y no tan técnicos.

— JohnK

@JohnK, en efecto, la regresión de cresta reduce cada

en una cantidad diferente, por lo que la contracción no es constante a pesar de que solo hay un parámetro de contracción

β

$\beta$

λ

$\lambda$

— Frank Harrell

$\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Frank Harrell
fuente

λ

$\lambda$

No he estudiado eso. LOOCV requiere muchos cálculos.

— Frank Harrell

No si se usa la fórmula explícita: stats.stackexchange.com/questions/32542 .

— ameba dice Reinstate Monica

Esa fórmula funciona para el caso especial de OLS, no para la máxima probabilidad en general. Pero hay una fórmula aproximada que usa residuos de puntaje. Sin embargo, me doy cuenta de que estamos hablando principalmente de OLS en esta discusión.

— Frank Harrell

No lo hago analíticamente, sino numéricamente. Usualmente trazo RMSE vs. λ como tal:

Figura 1. RMSE y la constante λ o alfa.

— Lennart
fuente

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$