Estoy leyendo SVMy me he enfrentado al punto de que los no kernelized SVMsno son más que separadores lineales. Por lo tanto, ¿es la única diferencia entre una SVMregresión logística y el criterio para elegir el límite?
Aparentemente, SVMelige el clasificador de margen máximo y la regresión logística es la que minimiza la cross-entropypérdida. ¿Hay situaciones en las que SVM funciona mejor que la regresión logística o viceversa?
Respuestas:
Si usa la regresión logística y la cross-entropyfunción de costo, su forma es convexa y habrá un mínimo único. Pero durante la optimización, puede encontrar pesos cercanos al punto óptimo y no exactamente en el punto óptimo. Esto significa que puede tener múltiples clasificaciones que reducen el error y tal vez establecerlo en cero para los datos de entrenamiento, pero con diferentes pesos que son ligeramente diferentes. Esto puede conducir a diferentes límites de decisión. Este enfoque se basa en métodos estadísticos . Como se ilustra en la siguiente forma, puede tener diferentes límites de decisión con ligeros cambios en los pesos y todos ellos tienen cero errores en los ejemplos de entrenamiento.
Lo que SVMhace es intentar encontrar un límite de decisión que reduzca el riesgo de error en los datos de prueba. Intenta encontrar un límite de decisión que tenga la misma distancia desde los puntos límite de ambas clases. En consecuencia, ambas clases tendrán un mismo espacio para el espacio vacío que no hay datos allí. SVMestá motivado geométricamente en lugar de estadísticamente .
Ninguno de los SVM kernelized no son más que separadores lineales. Por lo tanto, ¿es la única diferencia entre una SVM y una regresión logística el criterio para elegir el límite?
Son separadores lineales y si descubre que su límite de decisión puede ser un hiperplano, es mejor usar un SVMpara disminuir el riesgo de error en los datos de prueba.
Aparentemente, SVM elige el clasificador de margen máximo y la regresión logística, el que minimiza la pérdida de entropía cruzada.
Sí, como se indicó SVMse basa en las propiedades geométricas de los datos, mientras que logistic regressionse basa en enfoques estadísticos.
En este caso, ¿hay situaciones en las que SVM funcionaría mejor que la regresión logística, o viceversa?
Ostensiblemente, sus resultados no son muy diferentes, pero lo son. SVMs son mejores para la generalización 1 , 2 .
La regresión logística no está tratando de encontrar un límite de clase per se como lo hacen los SVM lineales. LR intenta modelar las puntuaciones y transformadas de logit utilizando predictores. Para usar una analogía tonta, LR intenta poner la función 'a través de los puntos' mientras que las SVM intentan poner vectores de soporte 'entre los puntos'