Resolviendo el problema de optimización convexa utilizada para la eliminación de ruido de alta calidad

8

La respuesta más votada a esta pregunta sugiere que para ignorar una señal mientras se conservan las transiciones bruscas, se debe

minimizar la función objetivo:

$| x - y |^{2} + b | f (y) |$ $|x-y|^2 + b|f(y)|$
donde es la señal ruidosa, es la señal sin ruido , es el parámetro de regularización yes una penalización de la norma L1. La eliminación del ruido se logra al encontrar la solución para este problema de optimización, y depende del nivel de ruido. $x$ $y$ $b$ $|f(y)|$ $y$ $b$

Sin embargo, no hay indicios de cómo se podría lograr eso en la práctica, ya que es un problema en un espacio dimensional muy alto, especialmente si la señal es, por ejemplo, de 10 millones de muestras. En la práctica, ¿cómo se resuelve este tipo de problema computacionalmente para señales grandes?

— John Robertson
fuente

¿Te preocupa el tiempo de ejecución? De lo contrario, la iteración sobre cómo minimizar una función es bastante extensa (me vienen a la mente Levenberg-Marquardt, Nelder-Mead, etc.). Incluso hay algunas versiones modificadas que están hechas específicamente para esto.

— thang

En realidad, tengo una pregunta para las personas que responden a continuación. Además de ser lento, ¿qué tiene de malo algo como Levenberg-Marquardt o Nelder-Mead? Estos son optimizadores generalizados, por lo que incluso puede aproximar numéricamente .

f

$f$

— thang

Sí, me preocupa el tiempo de ejecución, pero gracias por señalar estos métodos.

— John Robertson

6

Boyd tiene un solucionador de Matlab para problemas de mínimos cuadrados regularizados a gran escala ℓ1 . La formulación del problema allí es ligeramente diferente, pero el método puede aplicarse para el problema.

El enfoque clásico de mayorización-minimización también funciona bien. Esto corresponde a realizar iterativamente un umbral suave ( para TV, recorte ).

Las soluciones se pueden ver desde los enlaces. Sin embargo, existen muchos métodos para minimizar estos funcionales mediante el uso extensivo de literatura de optimización.

PD: Como se mencionó en otros comentarios, FISTA funcionará bien. Otra familia de algoritmos 'muy rápidos' son los algoritmos primarios-duales. Puede ver el interesante artículo de Chambolle como ejemplo, sin embargo, hay una gran cantidad de trabajos de investigación sobre métodos primarios-duales para formulaciones de problemas inversos lineales.

— Deniz
fuente

¿A qué se refiere exactamente 'primal-dual'?

— Spacey

Mohammad, no implementé ningún algoritmo primal-dual para problemas inversos. Sin embargo, puede ver un ejemplo en el enlace que mencioné en la respuesta: el artículo de Chambolle. A partir de este documento, puede ver lo que significa un algoritmo primal-dual con precisión. Estos métodos proporcionan solo otra solución (y rápidamente convergente) para problemas inversos.

— Deniz

Pensé que primal dual es optimización combinatoria? ¿Cómo puede transformar este problema genéricamente (para una

genérica ) en ese marco?

f

$f$

— thang

thang, como mencioné antes, no soy un experto en este dominio. Puedes ver el artículo de Chambolle y ver cómo los métodos primarios-duales pueden usarse para resolver problemas como

o la regularización de TV.

ℓ_{1}

$\ell_1$

— Deniz

4

Para resolver problemas de optimización con penalización de TV, utilizamos un algoritmo recientemente propuesto llamado Algoritmos basados en gradientes rápidos para problemas de desnutrición y desvanecimiento de imagen de variación total restringida (FISTA) , que tiene una mejor tasa de convergencia que los métodos iterativos convencionales, como ASD-POCS.

— chaohuang
fuente

1

¿Es posible agregar más información sobre el algoritmo, ya que la única referencia que vinculó requiere comprar el artículo?

— Jason R

iew3.technion.ac.il/~becka/papers/71654.pdf

— chaohuang

@JasonR, es básicamente la aceleración Nesterov del Proxoperador. Muy buen trabajo.

— Royi

3

En el caso particular donde , la función objetivo se puede escribir como $f(y)=\|y\|_1$

‖ x - y ‖^{2} + b ‖ y ‖_{1} = \sum_{i} (x_{i} - y_{i})^{2} + b \sum_{i} | y_{i} |,

$\|x-y\|^2 + b\|y\|_1 = \sum_i(x_i - y_i)^2 + b\sum_i |y_i|,$

minimizarlo requiere minimizar cada entrada de la suma:

\hat{y_{i}} = a r g m i n {(x_{i} - y_{i})^{2} + b | y_{i} |}

$\hat{y_i} = argmin \{(x_i-y_i)^2 + b|y_i|\}$

Usando subdifrenciales es posible demostrar que el minimizador es el operador de umbral suave con umbral . Ese es el método propuesto por Donoho y Johnstone para la eliminación de ruido de la señal. Vea su documento Adaptación espacial ideal por contracción de wavelet para más detalles. $b$

Entonces, en este caso, creo que no necesita un solucionador más sofisticado para estimar su señal.

— Alejandro
fuente

Tiene una penalización de la norma lugar de una penalización por variación total . ¿Es eso un error tipográfico?

L^{1}

$L^1$

| y_{i} |

$\vert y_i\vert$

| y_{i + 1} - y_{i} |

$\vert y_{i+1}-y_i\vert$

— John Robertson

ℓ_{1}

$\ell_1$

f

$f$

f

$f$

f (x_{0}, x_{1}, . . .) = (x_{1} - x_{0}, x_{2} - x_{1}, . . .)

$f(x_0,x_1,...)=(x_1-x_0,x_2-x_1,...)$

f (y)

$f(y)$

ℓ_{1}

$\ell_1$

2

$f(x) = \ell_1(x) = \sum |x_i|$
$\qquad\qquad$ $\| Ax - b \|_2^2 + \lambda \|x\|_1$
$\|x\|_1$ $\|x\|_2$ $x_i$
$x$ $y$

f (x) = ℓ_{1}

$f(x) = \ell_1$

$x_i = 0$

$\|Ax - b\|$
$x_i = 0$

Esta es una forma de mínimos cuadrados iterativamente ponderados, con pesos 0 o 1. Esperaría que los métodos en los documentos citados en las respuestas anteriores den mejores resultados; esto es simple.

$f() + \lambda g()$ $f()$ $\lambda g()$

— denis
fuente