¿Cómo funciona una máquina de vectores de soporte (SVM) de trabajo, y lo que lo diferencia de otros clasificadores lineales, como el perceptrón lineal , análisis discriminante lineal o regresión logística ? * *

(* Estoy pensando en términos de las motivaciones subyacentes para el algoritmo, las estrategias de optimización, las capacidades de generalización y la complejidad del tiempo de ejecución )

Las máquinas de vectores de soporte se centran solo en los puntos que son más difíciles de distinguir, mientras que otros clasificadores prestan atención a todos los puntos.

La intuición detrás del enfoque de la máquina de vectores de soporte es que si un clasificador es bueno en las comparaciones más desafiantes (los puntos en B y A que están más cerca uno del otro en la Figura 2), entonces el clasificador será aún mejor en las comparaciones fáciles ( comparar puntos en B y A que están muy lejos el uno del otro).

Perceptrones y otros clasificadores:

Los perceptrones se construyen tomando un punto a la vez y ajustando la línea divisoria en consecuencia. Tan pronto como se separan todos los puntos, el algoritmo perceptrón se detiene. Pero podría detenerse en cualquier lugar. La Figura 1 muestra que hay un montón de diferentes líneas divisorias que separan los datos. El criterio de detención del perceptrón es simple: "separe los puntos y deje de mejorar la línea cuando obtenga una separación del 100%". No se le dice explícitamente al perceptrón que busque la mejor línea de separación. La regresión logística y los modelos discriminantes lineales se construyen de manera similar a los perceptrones.

La mejor línea divisoria maximiza la distancia entre los puntos B más cercanos a A y los puntos A más cercanos a B. No es necesario observar todos los puntos para hacer esto. De hecho, la incorporación de la retroalimentación de puntos que están muy lejos puede hacer que la línea suba demasiado, como se ve a continuación.

Máquinas de vectores de soporte:

A diferencia de otros clasificadores, se le dice explícitamente a la máquina de vectores de soporte que encuentre la mejor línea de separación. ¿Cómo? La máquina de vectores de soporte busca los puntos más cercanos (Figura 2), que llama los "vectores de soporte" (el nombre "máquina de vectores de soporte" se debe al hecho de que los puntos son como vectores y que la mejor línea "depende de" o es "apoyado por" los puntos más cercanos).

Una vez que ha encontrado los puntos más cercanos, el SVM dibuja una línea que los conecta (vea la línea etiquetada 'w' en la Figura 2). Dibuja esta línea de conexión haciendo sustracción de vectores (punto A - punto B). La máquina de vectores de soporte declara entonces que la mejor línea de separación es la línea que se divide y es perpendicular a la línea de conexión.

La máquina de vectores de soporte es mejor porque cuando obtiene una nueva muestra (nuevos puntos), ya habrá hecho una línea que mantiene a B y A lo más lejos posible entre sí, por lo que es menos probable que se desborde la línea en el territorio del otro.

Me considero un aprendiz visual y luché con la intuición detrás de las máquinas de vectores de soporte durante mucho tiempo. El artículo llamado Dualidad y Geometría en Clasificadores SVM finalmente me ayudó a ver la luz; de ahí obtuve las imágenes.

La respuesta de Ryan Zotti explica la motivación detrás de la maximización de los límites de decisión, la respuesta de carlosdc ofrece algunas similitudes y diferencias con respecto a otros clasificadores. Daré en esta respuesta una breve descripción matemática de cómo se entrenan y usan los SVM.

Anotaciones

A continuación, los escalares se denotan con minúsculas en cursiva (por ejemplo, $y,\, b$ ), vectores con minúsculas en negrita (p. ej.,$\mathbf{w},\, \mathbf{x}$ ), y matrices con mayúsculas en cursiva (p. ej.,$W$ ). $\mathbf{w^T}$ es la transposición de$\mathbf{w}$ , y$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$ .

Dejar:

• $\mathbf{x}$ ser un vector de características (es decir, la entrada de la SVM). $\mathbf{x} \in \mathbb{R}^n$ , donde$n$ es la dimensión del vector de características.
• $y$ ser la clase (es decir, la salida del SVM). $y \in \{ -1,1\}$ , es decir, la tarea de clasificación es binaria.
• $\mathbf{w}$ y$b$ serán los parámetros de la SVM: necesitamos aprenderlos usando el conjunto de entrenamiento.
• $(\mathbf{x}^{(i)}, y^{(i)})$ será la$i^ {\text {th}}$ muestra en el conjunto de datos. Supongamos que tenemos$N$ muestras en el conjunto de entrenamiento.

Con $n=2$ , uno puede representar los límites de decisión de la SVM de la siguiente manera:

La clase $y$ se determina de la siguiente manera:

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

que se puede escribir de manera más concisa como $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$ .

Gol

El SVM tiene como objetivo satisfacer dos requisitos:

1. El SVM debe maximizar la distancia entre los dos límites de decisión. Matemáticamente, esto significa que queremos maximizar la distancia entre el hiperplano definido por $\mathbf{w^T}\mathbf{x}+b = -1$ y el hiperplano definido por $\mathbf{w^T}\mathbf{x}+b = 1$ . Esta distancia es igual a $\frac{2}{\|\mathbf{w}\|}$ . Esto significa que queremos resolver$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ . Equivalentemente queremos $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$ .

2. El SVM también debe clasificar correctamente todos los $\mathbf{x}^{(i)}$ , lo que significa $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Lo que nos lleva al siguiente problema de optimización cuadrática:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Este es el SVM de margen duro , ya que este problema de optimización cuadrática admite una solución si los datos son linealmente separables.

Uno puede relajar las restricciones introduciendo las llamadas variables de holgura $\xi^{(i)}$ . Tenga en cuenta que cada muestra del conjunto de entrenamiento tiene su propia variable de holgura. Esto nos da el siguiente problema de optimización cuadrática:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Este es el SVM de margen blando . $C$ es un hiperparámetro llamado penalización del término de error . ( ¿Cuál es la influencia de C en SVMs con kernel lineal y qué rango de búsqueda para determinar los parámetros óptimos de SVM? ).

Se puede agregar aún más flexibilidad al introducir una función $\phi$ que asigna el espacio de características original a un espacio de características de dimensiones superiores. Esto permite límites de decisión no lineales. El problema de optimización cuadrática se convierte en:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Mejoramiento

El problema de optimización cuadrática se puede transformar en otro problema de optimización llamado problema dual lagrangiano (el problema anterior se llama primario ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Este problema de optimización se puede simplificar (estableciendo algunos gradientes en $0$ ) para:

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ no aparece como$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$ (como lo indica elteoremadelrepresentador).

Por lo tanto, aprendemos el $\alpha^{(i)}$ usando el $(\mathbf{x}^{(i)}, y^{(i)})$ del conjunto de entrenamiento.

(FYI: ¿Por qué molestarse con el problema dual al ajustar SVM? Respuesta corta: un cálculo más rápido + permite usar el truco del kernel, aunque existen algunos buenos métodos para entrenar SVM en el primario, por ejemplo, ver {1})

Hacer una predicción

Una vez que se aprende el $\alpha^{(i)}$ , se puede predecir la clase de una nueva muestra con la prueba del vector de características $\mathbf{x}^{\text {test}}$ siguiente manera:

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

La suma $\sum_{i =1}^{N}$ podría parecer abrumadora, ya que significa que uno tiene que sumar todas las muestras de entrenamiento, pero la gran mayoría de$\alpha^{(i)}$ son$0$ (ver¿Por qué los multiplicadores de Lagrange son escasos para SVM?) No es un problema. (tenga en cuenta quese pueden construir casos especiales donde todos los$\alpha^{{(i)}} > 0$ )$\alpha^{{(i)}}=0$ iff$x^{{(i)}}$ es unvector de soporte. La ilustración de arriba tiene 3 vectores de soporte.

Truco kernel

Se puede observar que el problema de optimización usa $\phi\left(\mathbf{x}^{(i)}\right)$ solo en el producto interno $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ . La función que mapea$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ al producto interno$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$se llama un núcleo , también conocida como función del núcleo, a menudo denotado por $k$ .

Se puede elegir $k$ para que el producto interno sea eficiente de calcular. Esto permite utilizar un espacio de características potencialmente alto a un bajo costo computacional. Eso se llama el truco del núcleo . Para que una función del núcleo sea válida , es decir, que se pueda usar con el truco del núcleo, debe satisfacer dos propiedades clave . Existen muchas funciones del núcleo para elegir . Como nota al margen, el truco del kernel se puede aplicar a otros modelos de aprendizaje automático , en cuyo caso se los denomina kernelized .

Ir más lejos

Algunos QA interesantes sobre SVM:

• La mejor manera de realizar SVM multiclase
• Soporte de máquinas vectoriales y regresión
• Comprender las diferentes formulaciones para SVM
• ¿Cuál es la diferencia entre las funciones de pérdida $\ell_1$ -SVM, $\ell_2$ -SVM y LS-SVM?
• Para lidiar con un conjunto de datos no balanceado:
  • La mejor manera de manejar un conjunto de datos multiclase desequilibrado con SVM
  • Selección a priori de pesos de clase SVM
• ¿Cómo se interpretan los pesos de las características SVM?
• Interpretar el valor de C en un SVM lineal
• Límites de generalización en SVM
• Fórmula general para la dimensión VC de un SVM
• ¿Qué significa "máquina" en "máquina de vectores de soporte" y "máquina de Boltzmann restringida"?
• ¿Cómo son las SVM = Coincidencia de plantillas?
• ¿NeuralNetwork de capa única con activación ReLU igual a SVM?
• Comparación de SVM y regresión logística

Otros enlaces:

• Máquina de vector de soporte de mínimos cuadrados

---

Referencias

• {1} Chapelle, Olivier. "Entrenando una máquina de vectores de soporte en lo primario". Cálculo neuronal 19, no. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=es&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Me voy a centrar en las similitudes y diferencias de otros clasificadores:

• De un perceptrón: SVM usa la pérdida de bisagra y la regularización L2, el perceptrón usa la pérdida de perceptrón y podría usar la detención temprana (o entre otras técnicas) para la regularización, realmente no hay término de regularización en el perceptrón. Como no tiene un término de regularización, el perceptrón seguramente se sobreentrenará, por lo tanto, las capacidades de generalización pueden ser arbitrariamente malas. La optimización se realiza mediante el descenso de gradiente estocástico y, por lo tanto, es muy rápido. En el lado positivo, este documento muestra que al hacer una parada temprana con una función de pérdida ligeramente modificada, el rendimiento podría estar a la par con un SVM.

• De la regresión logística: la regresión logística usa el término de pérdida logística y podría usar la regularización L1 o L2. Puedes pensar en la regresión logística como el hermano discriminativo de los ingenuos generadores Bayes.

• De LDA: LDA también puede verse como un algoritmo generativo, se supone que las funciones de densidad de probabilidad (p (x | y = 0) y p (x | y = 1) están normalmente distribuidas. Esto es ideal cuando los datos están en hecho normalmente distribuido. Sin embargo, tiene la desventaja de que el "entrenamiento" requiere la inversión de una matriz que puede ser grande (cuando tiene muchas características). Bajo homocedasticidad, LDA se convierte en QDA, que es Bayes óptimo para datos distribuidos normalmente. se asumen las suposiciones que realmente no puede hacer mejor que esto.

En tiempo de ejecución (tiempo de prueba), una vez que el modelo ha sido entrenado, la complejidad de todos estos métodos es la misma, es solo un producto de punto entre el hiperplano que encontró el procedimiento de entrenamiento y el punto de datos.

La técnica se basa en dibujar una línea límite de decisión que deje un margen lo más amplio posible para los primeros ejemplos positivos y negativos:

$\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Una condición equivalente para una muestra positiva sería:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

$C = - b.$

$b$$\color{blue}{\mathbf w}$ para tener una regla de decisión, y para llegar allí necesitamos restricciones .

$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

$\bf w$$b$

---

$y_i$$y_i=+1$$y_i=-1$ si los ejemplos son negativos, y concluir

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Entonces establecemos que esto tiene que ser mayor que cero, pero si el ejemplo está en los hiperplanos (las "canaletas") que maximizan el margen de separación entre el hiperplano de decisión y las puntas de los vectores de soporte, en este caso las líneas), entonces:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

Tenga en cuenta que esto es equivalente a exigir que $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Segunda restricción : se maximizará la distancia del hiperplano de decisión a las puntas de los vectores de soporte. En otras palabras, el margen de separación ("calle") se maximizará:

$\mathbf w$

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

lo cual es matemáticamente conveniente.

---

Entonces queremos:

1. $\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Como queremos minimizar esta expresión en función de algunas restricciones, necesitamos un multiplicador de Lagrange (volviendo a las ecuaciones 2 y 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

Diferenciando,

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$

Por lo tanto,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

lo que significa que tenemos un producto de suma cero de multiplicadores y etiquetas:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Poniendo la ecuación Eq (6) de nuevo en la ecuación (5),

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

El penúltimo término es cero según la ecuación Eq (7).

Por lo tanto,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

La ecuación (8) es la lagrangiana final.

Por lo tanto, la optimización depende del producto escalar de pares de ejemplos.

Volviendo a la "regla de decisión" en la ecuación (1) anterior, y utilizando la ecuación (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

$\mathbf u.$

Algunos comentarios sobre las condiciones de dualidad y KTT

Problema primario

$(4)$$(5)$

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Método de Lagrange

El método de multiplicadores de Lagrange nos permite convertir un problema de optimización restringido en uno sin restricciones de la forma:

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

$\mathcal{L}(w, b, \alpha)$$\alpha_i$ .

$min$$max$$\inf$$\sup$

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Problema dual

Lo que han hecho @Antoni y el Prof. Patrick Winston en su derivación es asumir que la función de optimización y las restricciones cumplen algunas condiciones técnicas de tal manera que podemos hacer lo siguiente:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

$\mathcal{L}(w, b, \alpha)$$w$ y $b$, equivale a cero y luego vuelve a conectar los resultados a la ecuación original de Lagrangian, generando así un problema de optimización dual equivalente de la forma

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Dualidad y KTT

Sin entrar en tecnicismos matemáticos excesivos, estas condiciones son una combinación de las condiciones de Dualidad y Karush Kuhn Tucker (KTT) y nos permiten resolver el problema dual en lugar del problema primario , al tiempo que aseguramos que la solución óptima sea la misma. En nuestro caso las condiciones son las siguientes:

• El objetivo primario y las funciones de restricción de desigualdad deben ser convexas
• La función de restricción de igualdad debe ser afín
• Las restricciones deben ser estrictamente factibles

Entonces existe $w^*, \alpha^*$que son soluciones a los problemas primarios y duales. Por otra parte, los parámetros$w^*, \alpha^*$ Satisfacer las siguientes condiciones de KTT:

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

Además, si algunos $w^*, \alpha^*$ satisfacer las soluciones de KTT, entonces también son una solución para el problema primario y dual.

Ecuación $(C)$lo anterior es de particular importancia y se llama condición de complementariedad dual . Implica que si$\alpha_i^* > 0$ entonces $g_i(w^*) = 0$ lo que significa que la restricción $g_i(w) \leq 0$es activo, es decir, se mantiene con igualdad en lugar de desigualdad. Esta es la explicación detrás de la ecuación.$(2)$ en la derivación de Antoni donde la restricción de desigualdad se convierte en una restricción de igualdad.

Un diagrama intuitivo pero informal.

Fuentes

• Andrew Ng 1 y 2
• MIT