Soporte de máquinas vectoriales y regresión

26

Ya ha habido una excelente discusión sobre cómo las máquinas de vectores de soporte manejan la clasificación, pero estoy muy confundido acerca de cómo las máquinas de vectores de soporte generalizan a la regresión.

¿Alguien me puede explicar?

regression machine-learning svm

— Zach
fuente

17

Básicamente se generalizan de la misma manera. El enfoque de regresión basado en el núcleo es transformar la característica, llamarla a algún espacio vectorial, luego realizar una regresión lineal en ese espacio vectorial. Para evitar la "maldición de la dimensionalidad", la regresión lineal en el espacio transformado es algo diferente que los mínimos cuadrados ordinarios. El resultado es que la regresión en el espacio transformado se puede expresar como , donde son observaciones del conjunto de entrenamiento, es la transformación aplicada a los datos y el punto es el producto de punto. Por lo tanto, la regresión lineal es 'apoyada' por unos pocos (preferiblemente un número muy pequeño de) vectores de entrenamiento. $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ $\phi(\cdot)$

Todos los detalles matemáticos están ocultos en la extraña regresión realizada en el espacio transformado ('tubo insensible a épsilon' o lo que sea) y la elección de la transformación, . Para un profesional, también hay preguntas acerca de algunos parámetros libres (generalmente en la definición de y la regresión), así como también de la caracterización , que es donde el conocimiento del dominio suele ser útil. $\phi$ $\phi$

— shabbychef
fuente

Desde el punto de vista de la intuición, ¿es esto casi como una clasificación de clase única, donde la línea de "límite" de clase termina atravesando los puntos en lugar de entre los puntos de dos clases?

— Wayne

@Wayne, eso entiendo, sí. Sin embargo, no estoy al 100%.

— Zach

5

Para obtener una descripción general de SVM: ¿Cómo funciona una máquina de vectores de soporte (SVM)?

Con respecto a la regresión de vectores de soporte (SVR), encuentro estas diapositivas de http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( espejo ) muy claras:

La documentación de Matlab también tiene una explicación decente y, además, repasa el algoritmo de resolución de optimización: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( espejo ).

Hasta ahora, esta respuesta ha presentado la llamada regresión SVM insensible a épsilon (ε-SVM). Existe una variante más reciente de SVM para cualquier clasificación de regresión: los mínimos cuadrados admiten la máquina de vectores .

Además, SVR puede extenderse para múltiples salidas, también conocido como multi-objetivo, por ejemplo, ver {1}.

Referencias

{1} Borchani, Hanen, Gherardo Varando, Concha Bielza y Pedro Larrañaga. "Una encuesta sobre regresión de múltiples resultados". Revisiones interdisciplinarias de Wiley: minería de datos y descubrimiento de conocimiento 5, no. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=en&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Franck Dernoncourt
fuente