Definición y convergencia de mínimos cuadrados re ponderados iterativamente

He estado usando mínimos cuadrados iterativamente ponderados (IRLS) para minimizar las funciones de la siguiente forma,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

donde $N$ es el número de instancias de $x_i \in \mathbb{R}$ , $m \in \mathbb{R}$ es la estimación sólida que quiero, y $\rho$ es una función de penalización robusta adecuada. Digamos que es convexo (aunque no necesariamente estrictamente) y diferenciable por ahora. Un buen ejemplo de tal $\rho$ es la función de pérdida de Huber .

Lo que he estado haciendo es diferenciar $J(m)$ con respecto a $m$ (y manipular) para obtener,

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

y resolviendo esto iterativamente poniéndolo igual a 0 y fijando pesos en la iteración $k$ a $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ (tenga en cuenta que la singularidad percibida en $x_i=m{(k)}$ es realmente una singularidad removible en todos los $\rho$ me interesan). Entonces obtengo,

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

y resuelvo obtener, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ .

Repito este algoritmo de punto fijo hasta la "convergencia". Notaré que si llegas a un punto fijo, eres óptimo, ya que tu derivada es 0 y es una función convexa.

Tengo dos preguntas sobre este procedimiento:

¿Es este el algoritmo IRLS estándar? Después de leer varios documentos sobre el tema (y estaban muy dispersos y vagos sobre lo que es IRLS), esta es la definición más coherente del algoritmo que puedo encontrar. Puedo publicar los documentos si la gente quiere, pero en realidad no quería sesgar a nadie aquí. Por supuesto, puede generalizar esta técnica básica a muchos otros tipos de problemas que involucran vectores $x_i$ 'sy argumentos distintos de $\left|x_i-m{(k)}\right|$ , siempre que el argumento sea una norma de una función afín de sus parámetros. Cualquier ayuda o idea sería genial en esto.
La convergencia parece funcionar en la práctica, pero tengo algunas preocupaciones al respecto. Todavía tengo que ver una prueba de ello. Después de algunas simulaciones simples de Matlab, veo que una iteración de esto no es un mapeo de contracción (generé dos instancias aleatorias de $m$ calculando $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$ y vi que esto es ocasionalmente mayor que 1). Además, el mapeo definido por varias iteraciones consecutivas no es estrictamente un mapeo de contracción, pero la probabilidad de que la constante de Lipschitz esté por encima de 1 es muy baja. Entonces, ¿existe la noción de unmapeo de contracción en la probabilidad? ¿Cuál es la maquinaria que usaría para demostrar que esto converge? ¿Incluso converge?

Cualquier orientación es útil.

Editar: Me gusta el artículo sobre IRLS para recuperación dispersa / detección de compresión por Daubechies et al. 2008 "Minimización de mínimos cuadrados ponderada iterativamente para una recuperación dispersa" en el arXiv. Pero parece centrarse principalmente en los pesos para problemas no convexos. Mi caso es considerablemente más simple.

— Chris A.
fuente

Mirando la página wiki en IRWLS , lucho por la diferencia entre el procedimiento que describe y el IRWLS (solo usan

como sufunción

particular). ¿Puede explicar de qué manera cree que el algoritmo que propone esdiferentede IRWLS?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— user603

Nunca dije que fuera diferente, y si lo implicaba, no era mi intención.

— Chris A.

En cuanto a su primera pregunta, uno debe definir "estándar" o reconocer que se ha establecido gradualmente un "modelo canónico". Como lo indica un comentario, parece que al menos la forma en que usa IRWLS es bastante estándar.

En cuanto a su segunda pregunta, el "mapeo de contracción en probabilidad" podría estar vinculado (aunque sea de manera informal) a la convergencia de "algoritmos estocásticos recursivos". Por lo que leí, hay una gran literatura sobre el tema, principalmente en ingeniería. En economía, utilizamos un poco, especialmente los trabajos seminales de Lennart Ljung, el primer artículo fue Ljung (1977) , que mostró que la convergencia (o no) de un algoritmo estocástico recursivo puede determinarse por la estabilidad (o no) de una ecuación diferencial ordinaria relacionada.

(lo que sigue ha sido reelaborado después de una fructífera discusión con el OP en los comentarios)

Convergencia

Usaré como referencia Sabre Elaydi "Introducción a las ecuaciones de diferencia", 2005, 3d ed. El análisis está condicionado a alguna muestra de datos dada, por lo que las se tratan como fijas. $x's$

La condición de primer orden para la minimización de la función objetivo, vista como una función recursiva en , $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

tiene un punto fijo (el argmin de la función objetivo). Según el teorema 1.13 pp 27-28 de Elaydi, si la primera derivada con respecto a de la RHS de , evaluada en el punto fijo , se denota como , es menor que la unidad en valor absoluto , entonces es asintóticamente estable (AS). Más sobre el Teorema 4.3 p.179 tenemos que esto también implica que el punto fijo es uniformemente AS (UAS). "Asintóticamente estable" significa que para algún rango de valores alrededor del punto fijo, una vecindad $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
, no necesariamente de tamaño pequeño, el punto fijo esatractivo $(m^* \pm \gamma)$ , por lo que si el algoritmo proporciona valores en este entorno, convergerá. La propiedad "uniforme" significa que el límite de este vecindario y, por lo tanto, su tamaño, es independiente del valor inicial del algoritmo. El punto fijo se convierte globalmente en UAS, si . Entonces, en nuestro caso, si demostramos que $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

Hemos probado la propiedad UAS, pero sin convergencia global. Luego, podemos intentar establecer que el vecindario de atracción es, de hecho, los números reales extendidos completos, o que el valor inicial específico que utiliza el OP como se menciona en los comentarios (y es estándar en la metodología IRLS), es decir, la media muestral de las , , siempre pertenece al vecindario de atracción del punto fijo. $x$ $\bar x$

Calculamos la derivada

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

and

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

we have

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Inserting this into $[3]$ we have

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

This is the condition that must be satisfied for the fixed point to be UAS. Since in our case the penalty function is convex, the sums involved are positive. So condition $[4]$ is equivalent to

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

If $\rho(|x_i-m|)$ is Hubert's loss function, then we have a quadratic ( $q$ ) and a linear ( $l$ ) branch,

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

and

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Since we do not know how many of the $|x_i-m^*|$ 's place us in the quadratic branch and how many in the linear, we decompose condition $[5]$ as ( $N_q + N_l = N$ )

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

which holds. So for the Huber loss function the fixed point of the algorithm is uniformly asymptotically stable, irrespective of the $x$ 's. We note that the first derivative is smaller than unity in absolute value for any $m$ , not just the fixed point.

What we should do now is either prove that the UAS property is also global, or that, if $m(0) = \bar x$ then $m(0)$ belongs to the neighborhood of attraction of $m^*$ .

— Alecos Papadopoulos
fuente

Thanks for the response. Give me some time to analyze this answer.

— Chris A.

Certainly. After all, the question waited 20 months.

— Alecos Papadopoulos

Yeah, I was reminded of the problem and decided to put up a bounty. :)

— Chris A.

Lucky me. I wasn't there 20 months ago - I would have taken up this question, bounty or not.

— Alecos Papadopoulos

Thanks so much for this response. It's looking like, so far, that you've earned the bounty. BTW, your indexing on the derivative of

v_{i}

$v_i$ w.r.t

m

$m$ is notationally weird. Couldn't the summations on the second line of this use another variable, such as

j

$j$ ?

— Chris A.