Minimizar la suma de la desviación absoluta ( distancia

15

Tengo un conjunto de datos $x_{1}, x_{2}, \ldots, x_{k}$ y quiero encontrar el parámetro $m$ manera que minimice la suma

\sum_{i = 1}^{k} | m - x_{i} | .

$\sum_{i=1}^{k}\big|m-x_i\big|.$ es decir

min_{m} \sum_{i = 1}^{k} | m - x_{i} | .

$\min_{m}\sum_{i=1}^{k}\big|m-x_i\big|.$

optimization convex-optimization

— mayenew
fuente

2

Podrías elaborar un poco?

— Geoff Oxberry

En ese caso, ¿no sería la solución el punto medio entre los valores máximos y mínimos?

— Paul

@Paul la mediana puede minimizar la suma, pero quiere saber cómo se podría hacer analíticamente, particularmente la minimización de l1

— nuevo el

@kadu es cierto, la mediana es la solución. Calcular la mediana analíticamente es trivial; solo ordena y luego toma el valor medio.

— David Ketcheson el

22

¿Probablemente pides una prueba de que la mediana resuelve el problema? Bueno, esto se puede hacer así:

El objetivo es lineal por partes y, por lo tanto, diferenciable, excepto para los puntos . ¿Cuál es la pendiente del objetivo en algún punto ? Bueno, la pendiente es la suma de las pendientes de los mapeos y esto es (para ) o (para ). Por lo tanto, la pendiente indica cuántos $m=x_i$ $m\neq x_i$ $m\mapsto |m-x_j|$ $+1$ $m>x_j$ $-1$ $m<x_j$ son más pequeñas que $x_i$ $m$ . Usted ve que la pendiente es cero si hay igualmente muchos más pequeños y más grandes que (para un número par de ). Si hay un número impar de 's, entonces la pendiente es izquierda del "medio" y derecha, por lo tanto, el medio es el mínimo. $x_i$ $m$ $x_i$ $x_i$ $-1$ $+1$

— Puñal
fuente

16

Una generalización de este problema a múltiples dimensiones se llama problema geométrico mediano . Como señala David, la mediana es la solución para el caso 1-D; allí, podría usar algoritmos de selección de búsqueda de mediana , que son más eficientes que la clasificación. Los tipos son mientras que los algoritmos de selección son $O(n\log n)$ ; las clasificaciones solo son más eficientes si se necesitan selecciones múltiples, en cuyo caso podría ordenar (costosamente) una vez y luego seleccionar repetidamente de la lista ordenada. $O(n)$

El enlace al problema de la mediana geométrica menciona soluciones para casos multidimensionales.

— Geoff Oxberry
fuente

6

La solución explícita en términos de la mediana es correcta, pero en respuesta a un comentario de mayenew, aquí hay otro enfoque.

Es bien sabido que $\ell^1$ problemas de minimización de general, y el problema publicado en particular, pueden resolverse mediante programación lineal.

La siguiente formulación LP servirá para el ejercicio dado con incógnitas : $z_i,m$

tal que:

m i n \sum z_{i}

$min \sum z_i$

z_{i} \geq m - x_{i}

$z_i \ge m - x_i$

z_{i} \geq x_{i} - m

$z_i \ge x_i - m$

Claramente debe ser igual a como mínimo, por lo que pide que se minimice la suma de los valores absolutos de los errores. $z_i$ $|x_i - m|$

— hardmath
fuente

2

La forma de análisis convexo sobrecargada para mostrar esto es solo tomar subgraduados. De hecho, esto es equivalente al razonamiento utilizado en algunas de las otras respuestas que involucran pendientes.

El problema de optimización es convexo (porque el objetivo es convexo y no hay restricciones). Además, el subgradiente de es $\left|m-x_i\right|$

-1 si $m<x_i$

[-1,1] si $m=x_i$

+1 si . $m>x_i$

Dado que una función convexa se minimiza si y solo si su subgradiente contiene cero, y el subgradiente de una suma de funciones convexas es la suma (establecida) de los subgradientes, obtienes que 0 está en el subgradiente si y solo si es la mediana de . $m$ $x_1,\ldots x_k$

— cjordan1
fuente

0

Básicamente estamos detrás de:

\arg min_{m} \sum_{i = 1}^{N} | m - x_{i} |

$\arg \min_{m} \sum_{i = 1}^{N} \left| m - {x}_{i} \right|$

$\frac{\mathrm{d} \left | x \right | }{\mathrm{d} x} = \operatorname{sign} \left( x \right)$ ${L}_{1}$
$\sum_{i = 1}^{N} \operatorname{sign} \left( m - {x}_{i} \right)$
$m = \operatorname{median} \left\{ {x}_{1}, {x}_{2}, \cdots, {x}_{N} \right\}$

Uno debería notar que la mediande un grupo discreto no está definida de manera única.
Además, no es necesariamente un elemento dentro del grupo.

— Royi
fuente