En resumen, la regresión logística tiene connotaciones probabilísticas que van más allá del uso del clasificador en ML. Tengo algunas notas sobre regresión logística aquí .
La hipótesis en la regresión logística proporciona una medida de incertidumbre en la aparición de un resultado binario basado en un modelo lineal. La salida está limitada asintóticamente entre 0 y 1 , y depende de un modelo lineal, de modo que cuando la línea de regresión subyacente tiene el valor 0 , la ecuación logística es 0.5=e01+e0 , que proporciona un punto de corte natural para fines de clasificación. Sin embargo, es a costa de tirar la información de probabilidad en el resultado real deh(ΘTx)=eΘTx1+eΘTx , que a menudo es interesante (por ejemplo, la probabilidad de incumplimiento del préstamo dados los ingresos, puntaje de crédito, edad, etc.)
El algoritmo de clasificación de perceptrón es un procedimiento más básico, basado en productos de punto entre ejemplos y pesos . Cada vez que un ejemplo se clasifica incorrectamente, el signo del producto escalar está en desacuerdo con el valor de clasificación ( −1 y 1 ) en el conjunto de entrenamiento. Para corregir esto, el vector de ejemplo se agregará o restará iterativamente del vector de pesos o coeficientes, actualizando progresivamente sus elementos:
Vectorialmente, las características o atributos de un ejemplo son x , y la idea es "pasar" el ejemplo si:dx
o ...∑1dθixi>theshold
. La función de signo da como resultado 1 o - 1 , en oposición a 0 y 1 en regresión logística.h(x)=sign(∑1dθixi−theshold)1−101
El umbral se absorberá en el coeficiente de polarización , . La fórmula es ahora:+θ0
, o vectorizado: h ( x ) = signo ( θ T x ) .h(x)=sign(∑0dθixi)h(x)=sign(θTx)
Los puntos mal clasificados tendrán , lo que significa que el producto de puntos de Θ y xsign(θTx)≠ynΘ será positivo (vectores en la misma dirección), cuando y n es negativo, o el producto de puntos será negativo (vectores en direcciones opuestas), mientras que y n es positivo.xnynyn
He estado trabajando en las diferencias entre estos dos métodos en un conjunto de datos del mismo curso , en el que los resultados de la prueba en dos exámenes separados están relacionados con la aceptación final a la universidad:
El límite de decisión se puede encontrar fácilmente con la regresión logística, pero fue interesante ver que aunque los coeficientes obtenidos con perceptrón eran muy diferentes a los de la regresión logística, la simple aplicación de la función de a los resultados arrojó una clasificación tan buena. algoritmo. De hecho, la segunda iteración alcanzó la precisión máxima (el límite establecido por la inseparabilidad lineal de algunos ejemplos). Aquí está la secuencia de las líneas de división límite como 10 iteraciones aproximadas a los pesos, comenzando desde un vector aleatorio de coeficientes:sign(⋅)10
La precisión en la clasificación en función del número de iteraciones aumenta rápidamente y se estabiliza en un , de acuerdo con la rapidez con que se alcanza un límite de decisión casi óptimo en el videoclip de arriba. Aquí está la trama de la curva de aprendizaje:90%
El código utilizado está aquí .