¿Por qué la regresión logística se llama algoritmo de aprendizaje automático?

Si entendí correctamente, en un algoritmo de aprendizaje automático, el modelo tiene que aprender de su experiencia, es decir, cuando el modelo da la predicción incorrecta para los nuevos casos, debe adaptarse a las nuevas observaciones, y con el tiempo, el modelo se vuelve cada vez mejor . No veo que la regresión logística tenga esta característica. Entonces, ¿por qué todavía se lo considera un algoritmo de aprendizaje automático? ¿Cuál es la diferencia entre la regresión logística con la regresión normal en términos de "aprendizaje"?

¡Tengo la misma pregunta para los bosques al azar!

¿Y cuál es la definición de "aprendizaje automático"?

El aprendizaje automático no es un término bien definido.

De hecho, si buscas en Google "Machine Learning Definition", las dos primeras cosas que obtienes son bastante diferentes.

Desde WhatIs.com ,

El aprendizaje automático es un tipo de inteligencia artificial (IA) que proporciona a las computadoras la capacidad de aprender sin ser programadas explícitamente. El aprendizaje automático se centra en el desarrollo de programas informáticos que pueden aprender a crecer y cambiar cuando se exponen a nuevos datos.

De Wikipedia ,

El aprendizaje automático explora la construcción y el estudio de algoritmos que pueden aprender y hacer predicciones sobre los datos.

La regresión logística, sin duda, se ajusta a la definición de Wikipedia y se podría argumentar si se ajusta o no a la definición de WhatIs.

Personalmente defino Machine Learning tal como lo hace Wikipedia y lo considero un subconjunto de estadísticas.

Machine Learning está de moda y es donde está el dinero. Las personas llaman a las cosas que están tratando de vender todo lo que está de moda en este momento y por lo tanto "venden". Eso puede ser vender software. Puede venderse a sí mismo como empleados actuales que intentan ser promovidos, como empleados potenciales, como consultores, etc. Puede ser un gerente que intenta obtener la aprobación del presupuesto de una empresa importante para contratar personas y comprar cosas, o convencer a los inversores para que inviertan en su nueva y exitosa startup que hace Machine Learning como la clave para hacer una aplicación de sexting mejorada. Entonces, el software hace Machine Learning y las personas son expertos en Machine Learning, porque eso es lo que está de moda y, por lo tanto, lo que vende ... al menos por ahora.

Hice todo tipo de modelos estadísticos lineales y no lineales hace más de 30 años. No se llamaba Machine Learning entonces. Ahora, la mayor parte lo sería.

Así como todos y su tío son ahora un "Científico" de datos. Eso es sexy, supuestamente sexy, así es como la gente se llama a sí misma. Y eso es lo que los gerentes de contratación que tienen que obtener el presupuesto aprobado para contratar a alguien enumeran los puestos. Entonces, alguien que no sabe lo primero sobre matemáticas, probabilidad, estadísticas, optimización o cálculo numérico / de coma flotante, utiliza un paquete R o Python de dudosa corrección y solidez de implementación, y que está etiquetado como un algoritmo de Machine Learning, para aplicar a datos que no entienden, y llamarse a sí mismos un Científico de Datos basado en su experiencia al hacerlo.

Esto puede sonar frívolo, pero creo que es la esencia de la situación.

Editar: Lo siguiente fue tuiteado el 26 de septiembre de 2019:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Cuando recaudamos dinero es IA, cuando contratamos es aprendizaje automático y cuando hacemos el trabajo es regresión logística".

(No estoy seguro de a quién se le ocurrió esto, pero es una joya 💎)

Como otros ya han mencionado, no hay una separación clara entre estadísticas, aprendizaje automático, inteligencia artificial, etc., así que tome cualquier definición con un grano de sal. La regresión logística probablemente se etiqueta con mayor frecuencia como estadística en lugar de aprendizaje automático, mientras que las redes neuronales generalmente se etiquetan como aprendizaje automático (aunque las redes neuronales a menudo son solo una colección de modelos de regresión logística).

En mi opinión, el aprendizaje automático estudia métodos que de alguna manera pueden aprender de los datos, generalmente al construir un modelo de alguna forma o forma. La regresión logística, como SVM, redes neuronales, bosques aleatorios y muchas otras técnicas, aprende de los datos al construir el modelo.

Si entendí correctamente, en un algoritmo de Machine Learning, el modelo tiene que aprender de su experiencia

En realidad no es así como se define el aprendizaje automático. No todos los métodos de aprendizaje automático producen modelos que se adaptan dinámicamente a los nuevos datos (este subcampo se llama aprendizaje en línea ).

¿Cuál es la diferencia entre la regresión logística con la regresión normal en términos de "aprendizaje"?

Muchos métodos de regresión también se clasifican como aprendizaje automático (por ejemplo, SVM).

La regresión logística fue inventada por el estadístico DR Cox en 1958 y es anterior al campo del aprendizaje automático. La regresión logística no es un método de clasificación, gracias a Dios. Es un modelo de probabilidad directa.

Si cree que un algoritmo debe tener dos fases (suposición inicial, luego "corregir" los "errores" de predicción) considere esto: la regresión logística funciona correctamente la primera vez. Es decir, en el espacio de modelos aditivos (en el logit). La regresión logística es un competidor directo de muchos métodos de aprendizaje automático y supera a muchos de ellos cuando los predictores actúan principalmente de forma aditiva (o cuando el conocimiento de la materia especifica previamente correctamente las interacciones). Algunos llaman a la regresión logística un tipo de aprendizaje automático, pero la mayoría no lo haría. Podría llamar a algunos métodos de aprendizaje automático (las redes neuronales son ejemplos) modelos estadísticos.

Tendré que estar en desacuerdo con la mayoría de las respuestas aquí y afirmar que Machine Learningtiene un alcance muy preciso y una clara distinción de las estadísticas. ML es un subcampo de la informática con una larga historia, que solo en los últimos años ha encontrado aplicaciones fuera de su dominio. El campo paternal y el dominio de aplicación de ML se encuentran dentro de la Inteligencia Artificial (robótica, software de reconocimiento de patrones, etc.), por lo tanto, no es solo un "término candente" como "Big Data" o "Data Science". Las estadísticas, por otro lado, (que proviene de la palabra "estado") se desarrollaron dentro de las ciencias sociales y económicas como una herramienta para los humanos, no para las máquinas. ML evolucionó por separado de las estadísticas y, aunque en algún momento comenzó a depender en gran medida de los principios estadísticos, de ninguna manera es un subcampo de estadísticas. El LD y las estadísticas son campos complementarios, no superpuestos.

Respuesta larga :

Como su nombre lo indica, los métodos ML se hicieron para software / máquinas, mientras que los métodos estadísticos se hicieron para humanos. Tanto el ML como las estadísticas se ocupan de las predicciones sobre los datos, sin embargo, los métodos de ML siguen un enfoque automatizado no paramétrico, mientras que los métodos estadísticos requieren una gran cantidad de trabajo manual de construcción de modelos con un factor explicativo adicional. Esto tiene mucho sentido si considera que los algoritmos de ML se desarrollaron en la investigación de IA como un medio de predicción automatizada que estaba destinado a integrarse en el software de robótica (por ejemplo, para el reconocimiento de voz y rostro). Cuando una "máquina" hace una predicción, no le importan las razones detrás de ella. A una máquina no le importa conocer los controladores / predictores detrás de un modelo que clasifica el correo electrónico como spam o no spam, solo le importa tener la mejor precisión de predicción.cajas negras , no es porque no tengan un modelo, es porque el modelo está construido algorítmicamente y no debe ser visible ni para humanos ni para máquinas.

El concepto de "entrenamiento" en ML se basa en el poder computacional, mientras que la construcción de modelos estadísticos con métodos de estimación de parámetros de tipo OLS se basa en el conocimiento de un experto humano. En un escenario de regresión múltiple, depende estrictamente del estadístico usar su juicio experto para elegir su modelo y verificar todos los supuestos estadísticos requeridos. El objetivo de un estadístico no es solo encontrar patrones y usarlos para predicciones, sino también comprender sus datos y su problema en una profundidad mucho mayor que ML.

Por supuesto, en algunas ocasiones, el LD y las estadísticas se superponen, como es el caso de muchas disciplinas. La regresión logística es una de estas ocasiones; Originalmente un método estadístico, que se parece mucho al Perceptrón simple (una de las técnicas de ML más fundamentales), que algunos consideran que es un método de ML.

El aprendizaje automático está bastante poco definido y tiene razón al pensar que los modelos de regresión, y no solo los de regresión logística, también "aprenden" de los datos. No estoy realmente seguro de si esto significa que el aprendizaje automático es realmente estadística o las estadísticas son realmente aprendizaje automático, o si algo de esto importa en absoluto.

Sin embargo, no creo que sea necesario que un algoritmo aprenda repetidamente de sus errores. La mayoría de los métodos usan un conjunto de entrenamiento para calcular algunos parámetros y luego usan estos parámetros fijos para hacer predicciones sobre algunos datos de prueba adicionales. El proceso de capacitación puede implicar la actualización repetida de los parámetros (como en la retropropagación), pero no necesariamente ($k$¡los vecinos más cercanos no hacen nada durante el entrenamiento!). En cualquier caso, en el momento de la prueba, es posible que ni siquiera tenga acceso a datos de verdad básica.

Dicho esto, algunos algoritmos aprenden de los errores de predicción; esto es particularmente común en el aprendizaje por refuerzo , donde un agente toma alguna acción, observa su resultado y luego usa el resultado para planificar acciones futuras. Por ejemplo, una aspiradora robótica podría comenzar con un modelo del mundo donde limpie todas las ubicaciones con la misma frecuencia y luego aprender a aspirar lugares sucios (donde se "recompensa" al encontrar suciedad) más y limpiar menos los lugares.

Los algoritmos en línea o incrementales se pueden actualizar repetidamente con nuevos datos de entrenamiento. Esto no necesariamente depende de la precisión de predicción del modelo, pero podría imaginar un algoritmo donde los pesos se actualicen de manera más agresiva si, por ejemplo, los nuevos datos parecen poco probables dado el modelo actual. Existen versiones en línea para la regresión logística: por ejemplo, McMahan y Streeeter (2012) .

Finalmente lo resolví. Ahora sé la diferencia entre el ajuste del modelo estadístico y el aprendizaje automático.

• Si ajusta un modelo (regresión), eso es ajuste estadístico del modelo
• Si aprende un modelo (regresión), eso es aprendizaje automático

Entonces, si aprende una regresión logística, ese es un algoritmo de aprendizaje automático.

Comentario: Disculpe por ser un viejo geezer, pero cada vez que escucho a personas hablar sobre aprender un modelo, o aprender una regresión, me hace pensar en Jethro "Ya aprendí una educación".

FIN DEL HILO

¡La regresión logística (y más generalmente, GLM) NO pertenece al aprendizaje automático! Más bien, estos métodos pertenecen al modelado paramétrico .

Los modelos paramétricos y algorítmicos (ML) utilizan los datos, pero de diferentes maneras. Los modelos algorítmicos aprenden de los datos cómo los predictores se asignan al pronóstico, pero no hacen ninguna suposición sobre el proceso que ha generado las observaciones (ni ninguna otra suposición, en realidad). Consideran que las relaciones subyacentes entre las variables de entrada y salida son complejas y desconocidas y, por lo tanto, adoptan un enfoque basado en datos para comprender lo que está sucediendo, en lugar de imponer una ecuación formal.

Por otro lado, los modelos paramétricos se prescriben a priori en función de algún conocimiento del proceso estudiado, utilizan los datos para estimar sus parámetros y hacen muchos supuestos poco realistas que rara vez se mantienen en la práctica (como la independencia, la varianza igual y Distribución normal de los errores).

Además, los modelos paramétricos (como la regresión logística) son modelos globales . No pueden capturar patrones locales en los datos (a diferencia de los métodos de ML que utilizan árboles como modelos base, por ejemplo, RF o árboles potenciados). Consulte este documento, página 5. Como estrategia de remediación, se puede utilizar GLM local (es decir, no paramétrico) (ver, por ejemplo, el paquete locfit R).

A menudo, cuando hay poco conocimiento sobre el fenómeno subyacente, es mejor adoptar un enfoque basado en datos y utilizar modelos algorítmicos. Por ejemplo, si usa la regresión logística en un caso en el que la interacción entre las variables de entrada y salida no es lineal, su modelo será claramente inadecuado y no se capturará mucha señal. Sin embargo, cuando el proceso se entiende bien, los modelos paramétricos tienen la ventaja de proporcionar una ecuación formal para resumir todo, lo cual es poderoso desde un punto de vista teórico.

Para una discusión más detallada, lea este excelente artículo de Leo Breiman.

Creo que las otras respuestas hacen un buen trabajo al identificar más o menos qué es el aprendizaje automático (como indican, puede ser algo confuso). Agregaré que la Regresión logística (y su versión multinomial más general) se usa muy comúnmente como un medio para realizar la clasificación en redes neuronales artificiales (que creo que están cubiertas inequívocamente por cualquier definición sensible de aprendizaje automático que elija), y si menciona Regresión logística a una persona de la red neuronal, es probable que piensen de inmediato en este contexto. Engancharse con un gran bateador en el aprendizaje automático es una buena manera de convertirse en una técnica de aprendizaje automático usted mismo, y creo que hasta cierto punto eso es lo que sucedió con varias técnicas de regresión, aunque no los descartaría por ser técnicas adecuadas de aprendizaje automático en y de ellos mismos.

Creo que cualquier procedimiento que sea "iterativo" puede considerarse un caso de aprendizaje automático. La regresión puede considerarse aprendizaje automático. Podríamos hacerlo a mano, pero llevaría mucho tiempo, si es posible. Así que ahora tenemos estos programas, máquinas, que hacen las iteraciones por nosotros. Se acerca cada vez más a una solución, a la mejor solución o al mejor ajuste. Por lo tanto, "aprendizaje automático". Por supuesto, cosas como las redes neuronales reciben la mayor atención con respecto al aprendizaje automático, por lo que generalmente asociamos el aprendizaje automático a estos procedimientos sensuales. Además, la diferencia entre el aprendizaje automático "supervisado" y el "no supervisado" es relevante aquí

Es un error muy común que la mayoría de la gente hace y también puedo verlo aquí (hecho por casi todos). Permítanme explicarlo en detalle ... Regresión logística y modelo de regresión lineal, ambos son modelo paramétrico, así como la técnica de aprendizaje automático. Solo depende del método que esté utilizando para estimar los parámetros del modelo (theta's). Hay 2 formas de encontrar parámetros de modelo en Regresión lineal y Reg. Logística.

1. Técnica de descenso de gradiente : Aquí comenzamos asignando valores aleatorios a los parámetros y encontramos la función de costo (error). En cada iteración actualizamos nuestros parámetros y minimizamos la función de costo. Después de cierto número de iteraciones, la función de costo reducida a los valores deseados y los valores de los parámetros correspondientes son nuestros valores finales. Esto es lo que se supone que deben hacer las técnicas de aprendizaje automático. Entonces, si está utilizando la técnica de Descenso de gradiente, la regresión logística puede llamarse como una técnica de aprendizaje automático.

2. Al usar el método de mínimos cuadrados: aquí tenemos una fórmula directa para encontrar nuestros parámetros (se requiere un poco de álgebra matricial para comprender la derivación de esta fórmula), que se conoce como ecuación normal.

Aquí b representa los parámetros X es la matriz de diseño. Ambos métodos tienen sus propias ventajas y limitaciones. Para obtener más detalles: siga el curso de un curso de Aprendizaje automático que aún se está ejecutando.

Espero que esta publicación pueda ser útil .. :-)