¿Cuáles son las normas

Últimamente he estado viendo muchos documentos sobre representaciones dispersas, y la mayoría de ellos usan la norma $\ell_p$ y minimizan un poco. Mi pregunta es, ¿cuál es la norma $\ell_p$ y la norma mixta $\ell_{p, q}$ ? ¿Y cómo son relevantes para la regularización?

Gracias

machine-learning regularization sparse

— agua
fuente

$\ell_p$

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

(También hay normas , que se definen de forma análoga, excepto para funciones en lugar de vectores o secuencias; en realidad, esto es lo mismo, ya que los vectores son funciones con dominios finitos). $L_p$

No conozco ningún uso de una norma en una aplicación de aprendizaje automático donde , excepto donde . Por lo general, ve o , o, a veces, donde desea relajar el caso ; no es estrictamente convexo en , pero es, para . Esto puede hacer que encontrar la solución sea "más fácil" en ciertos casos. $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

En el contexto de la regularización, si agrega a su función objetivo, lo que está diciendo es que espera que sea escaso , es decir, en su mayoría compuesto por ceros. Es un poco técnico, pero básicamente, si hay una solución densa , es probable que haya una solución más escasa con la misma norma. Si espera que su solución sea densa, puede agregar a su objetivo, porque entonces es mucho más fácil trabajar con su derivada. Ambos sirven para evitar que la solución tenga demasiado peso. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

La norma mixta entra cuando intentas integrar varias fuentes. Básicamente, desea que el vector de solución esté formado por varias piezas , donde es el índice de alguna fuente. La es solo la forma de todas las normas recopiladas en un vector. Es decir, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

El propósito de esto no es "sobrepasar" un conjunto de soluciones, digamos usando . Las piezas individuales son escasas, pero no se arriesga a destruir un vector de solución completo al tomar la forma de todas las soluciones. Entonces usas el norm en el exterior en su lugar. $\|\vec x\|_{1,2}$ $1$ $2$

Espero que ayude.

Vea este documento para más detalles.

— Josephine Moeller
fuente

+1 para la explicación de normas mixtas. Nunca los entendí yo mismo.

— Suresh Venkatasubramanian

(+1) Buena respuesta. ¡Bienvenido a CrossValidated, John!

— MånsT