Invertir la regresión de cresta: dada la matriz de respuesta y los coeficientes de regresión, encontrar predictores adecuados

Considere un problema de regresión OLS estándar : Tengo matrices y y quiero encontrar para minimizar La solución viene dada por $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ $\Y$ $\X$ $\B$

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

También puedo plantear un problema "inverso": dado $\Y$ y $\B^*$ , encuentre $\hat\X$ que produciría $\hat\B\approx \B^*$ , es decir, minimizaría $\|\argmin_\B\{L\}-\B^*\|^2$ . En palabras, tengo la matriz de respuesta $\Y$ y el vector de coeficiente $\B^*$ y quiero encontrar la matriz predictora que arroje coeficientes cercanos a $\B^*$ . Esto es, por supuesto, también un problema de regresión de OLS con la solución

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Actualización de la aclaración: como explicó @ GeoMatt22 en su respuesta, si $\Y$ es un vector (es decir, si solo hay una variable de respuesta), entonces esta $\hat \X$ será de rango uno, y el problema inverso está enormemente indeterminado. En mi caso, $\Y$ es en realidad una matriz (es decir, hay muchas variables de respuesta, es una regresión multivariada ). Entonces $\X$ es $n\times p$ , $\Y$ es $n\times q$ y $\B$ es $p\times q$ .

Estoy interesado en resolver un problema "inverso" para la regresión de cresta. A saber, mi función de pérdida ahora es

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ y la solución es

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

El problema "inverso" es encontrar

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Nuevamente, tengo una matriz de respuesta $\Y$ y un vector de coeficiente $\B^*$ y quiero encontrar una matriz de predicción que produzca coeficientes cercanos a $\B^*$ .

En realidad, hay dos formulaciones relacionadas:

Encuentra $\hat\X$ dado $\Y$ y $\B^*$ y $\mu$ .
Encuentra y dado y . $\hat\X$ $\hat \mu$ $\Y$ $\B^*$

¿Alguno de ellos tiene una solución directa?

Aquí hay un breve extracto de Matlab para ilustrar el problema:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Este código genera cero si mu=0pero no de otra manera.

regression least-squares ridge-regression

— ameba dice Reinstate Monica
fuente

Como se dan y , no afectan las variaciones en la pérdida. Por lo tanto, en (1) todavía estás haciendo OLS. (2) es igualmente simple, porque la pérdida puede hacerse arbitrariamente pequeña tomando arbitrariamente negativo, dentro de los límites de cualquier restricción que compare imponerle. Eso te reduce al caso (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Gracias. Creo que no lo expliqué lo suficientemente claro. Considere (1). y están dados (llamémoslo ), pero necesito encontrar que produzca coeficientes de regresión de cresta cercanos a , en otras palabras, quiero encontrar minimizandoNo veo por qué esto debería ser OLS.

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— ameba dice Reinstate Monica

Es como si tuviera

y quiero encontrar

tal que

esté cerca de un determinado

. No es lo mismo que encontrar

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— ameba dice Reinstate Monica

La exposición en su publicación es confusa sobre ese asunto, porque evidentemente no está utilizando

como una función de pérdida. ¿Podrías dar detalles sobre los problemas específicos (1) y (2) en la publicación?

L

$L$

— whuber

@ hxd1011 Muchas columnas en X generalmente se llaman "regresión múltiple", muchas columnas en Y generalmente se llaman "regresión multivariada".

— ameba dice Reinstate Monica

Ahora que la pregunta ha convergido en una formulación más precisa del problema de interés, he encontrado una solución para el caso 1 (parámetro de cresta conocido). Esto también debería ayudar para el caso 2 (no es exactamente una solución analítica, sino una fórmula simple y algunas restricciones).

Resumen: ninguna de las dos formulaciones de problemas inversos tiene una respuesta única. En el caso 2 , donde el parámetro de cresta es desconocido, hay infinitas soluciones , para $\mu\equiv\omega^2$ $X_\omega$ . En el caso 1, dondese da , hay un número finito de soluciones para , debido a la ambigüedad en el espectro de valores singulares. $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(La derivación es un poco larga, por lo que TL, DR: hay un código de Matlab que funciona al final).

Caso subdeterminado ("OLS")

El problema de avance es donde , e .

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

En base a la pregunta actualizada, asumiremos , por lo que se determina bajo e . Como en la pregunta, asumiremos la solución "predeterminada" (mínima forma) $n<p<q$ $B$ $X$ $Y$ $L_2$ donde es lapseudoinversede .

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

A partir de la descomposición de valor singular ( SVD ) de , dada por * el pseudoinverso puede calcularse como ** (* Las primeras expresiones usan la SVD completa, mientras que las segundas usan la SVD reducida. ** Por simplicidad, supongo que tiene rango completo, es decir, existe). $X$

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Entonces, el problema directo tiene solución Para referencia futura, noto que

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

, donde

es el vector de valores singulares.

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

En el problema inverso, se nos dan y $Y$ $B$ . Sabemos que llegó desde el proceso anterior, pero no sabemos . La tarea es entonces determinar la apropiada . $B$ $X$ $X$

Como se señaló en la pregunta actualizada, en este caso podemos recuperar utilizando esencialmente el mismo enfoque, es decir, $X$ ahora usando el pseudoinverse de .

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

Caso sobredeterminado (estimador de cresta)

En el caso "OLS", el problema no determinado se resolvió eligiendo la solución de norma mínima , es decir, nuestra solución "única" se regularizó implícitamente .

En lugar de elegir la solución de norma mínima , aquí introducimos un parámetro para controlar "cuán pequeña" debe ser la norma, es decir, usamos la regresión de cresta . $\omega$

$\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$

$\sigma_0$ $\sigma_\omega^2$ $\omega$

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

$X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

$B$ $p$ $n$

$\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

For the quadratic-root sign ambiguity, the following code snippet shows that independent of sign, any $\hat{X}$ will give the same forward $B$ ridge-solution, even when $\sigma_0$ differs from $\mathrm{SVD}[X]$ .

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
fuente

+11. Thanks a lot for all the effort that you put into answering this question and for all the discussion that we had. This seems to answer my question entirely. I felt that simply accepting your answer is not enough in this case; this deserves much more than two upvotes that this answer currently has. Cheers.

— amoeba says Reinstate Monica

@amoeba thanks! I am glad it was helpful. I think I will post a comment on whuber's answer you link asking if he thinks it is appropriate and/or if there is a better answer to use. (Note he prefaces his SVD discussion with the proviso

p \leq n

$p\leq n$ , i.e. an over-determined

X

$X$ .)

— GeoMatt22

@GeoMatt22 my comment on original question says using pinv is not a good thing, do you agree?

— Haitao Du

@hxd1011 In general you (almost) never want to explicitly invert a matrix numerically, and this holds also for the pseudo-inverse. The two reasons I used it here are 1) consistency with the mathematical equations + amoeba's demo code, and 2) for the case of underdetermined systems, the default Matlab "slash" solutions can differ from the pinv ones. Almost all of the cases in my code could be replaced by the appropriate \ or / commands, which are generally to be preferred. (These allow Matlab to decide the most effective direct solver.)

— GeoMatt22

@hxd1011 to clarify on point 2 of my previous comment, from the link in your comment on the original question: "If the rank of A is less than the number of columns in A, then x = A\B is not necessarily the minimum norm solution. The more computationally expensive x = pinv(A)*B computes the minimum norm least-squares solution.".

— GeoMatt22