Diferencia entre ep-SVR y nu-SVR (y SVR de mínimos cuadrados)

Estoy tratando de averiguar qué SVR es adecuado para ese tipo de datos.

Conozco 4 tipos de SVR:

• épsilon
• nu
• mínimos cuadrados y
• lineal.

Entiendo que SVR lineal es más o menos como lazo con L1 Reg, pero ¿cuál es la diferencia entre las 3 técnicas restantes?

En -SVR, el parámetro ν se usa para determinar la proporción del número de vectores de soporte que desea mantener en su solución con respecto al número total de muestras en el conjunto de datos. En ν -SVR, el parámetro ϵ se introduce en la formulación del problema de optimización y se estima automáticamente (de manera óptima) para usted.$\nu$$\nu$$\nu$$\epsilon$

Sin embargo, en -SVR no tiene control sobre cuántos vectores de datos del conjunto de datos se convierten en vectores de soporte, podrían ser algunos, podrían ser muchos. No obstante, tendrá control total de la cantidad de error que permitirá que tenga su modelo, y cualquier cosa más allá del ϵ especificado será penalizado en proporción a C , que es el parámetro de regularización.$\epsilon$$\epsilon$$C$

Dependiendo de lo que quiero, elijo entre los dos. Si estoy realmente desesperado por una solución pequeña (menos vectores de soporte), elijo -SVR y espero obtener un modelo decente. Pero si realmente quiero controlar la cantidad de error en mi modelo y obtener el mejor rendimiento, elijo ϵ -SVR y espero que el modelo no sea demasiado complejo (muchos vectores de soporte).$\nu$$\epsilon$

La diferencia entre -SVR y ν -SVR es cómo se parametriza el problema de entrenamiento. Ambos usan un tipo de pérdida de bisagra en la función de costo. El parámetro ν en ν -SVM puede usarse para controlar la cantidad de vectores de soporte en el modelo resultante. Dados los parámetros apropiados, se resuelve exactamente el mismo problema. ¹$\epsilon$$\nu$$\nu$$\nu$

El SVR de mínimos cuadrados difiere de los otros dos al usar residuos al cuadrado en la función de costo en lugar de la pérdida de bisagra.

¹ : C.-C. Chang y C.-J. Lin Entrenamiento -soporte regresión vectorial: Teoría y algoritmos$\nu$ . Computación neuronal, 14 (8): 1959-1977, 2002.

Me gustan las respuestas de Pablo y Marc. Un punto adicional:

En el artículo citado por Marc hay escrito (sección 4)

$\nu$$\epsilon$$\epsilon$$\epsilon$$y$

[...]

$\epsilon$$y$$\epsilon$$[-1,+1]$$\epsilon$$[0, 1]$$\nu$$\epsilon$

$\epsilon$$\epsilon -$$\nu -$

¿Qué piensas?