¿De dónde viene el término "aprender un modelo"?

A menudo escuché que los mineros de datos aquí usan este término. Como estadístico que ha trabajado en problemas de clasificación, estoy familiarizado con el término "entrenar a un clasificador" y supongo que "aprender un modelo" significa lo mismo. No me importa el término "entrenar a un clasificador". Eso parece representar la idea de ajustar un modelo a medida que los datos de entrenamiento se utilizan para obtener estimaciones buenas o "mejoradas" de los parámetros del modelo. Pero el aprender significa ganar conocimiento. En inglés simple "aprender un modelo" significaría saber qué es. Pero, de hecho, nunca "conocemos" el modelo. Los modelos se aproximan a la realidad pero ningún modelo es correcto. Es como Box dijo "Ningún modelo es correcto pero algunos son útiles".

Me interesaría escuchar la respuesta de los mineros de datos. ¿Cómo se originó el término? Si lo usas, ¿por qué te gusta?

Sospecho que sus orígenes se encuentran en la comunidad de investigación de redes neuronales artificiales, donde se puede pensar que la red neuronal aprende un modelo de los datos mediante la modificación de pesos sinápticos de una manera similar a la que ocurre en el cerebro humano a medida que nosotros mismos aprendemos de experiencia. Mi carrera investigadora comenzó en redes neuronales artificiales, así que a veces uso la frase.

Quizás tenga más sentido si piensa que el modelo está codificado en los parámetros del modelo, en lugar de la ecuación, de la misma manera que un modelo mental no es un componente físico identificable del cerebro tanto como un conjunto de parámetros ajustes para algunas de nuestras neuronas.

¡Tenga en cuenta que tampoco hay implicación de que un modelo mental sea necesariamente correcto!

El término es bastante antiguo en inteligencia artificial. Turing dedicó una larga sección sobre "Máquinas de aprendizaje" en su artículo de 1950 Mecánica informática e inteligencia en mente , y esboza cualitativamente el aprendizaje supervisado. El artículo original de Rosenblatt: The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain , de 1958, habla ampliamente sobre un "Modelo matemático de aprendizaje". Aquí el perceptrón era un "modelo de aprendizaje"; los modelos no fueron "aprendidos".

El artículo de Pitts y McCullough de 1943, el documento original de "redes neuronales", no estaba realmente preocupado por el aprendizaje, más cómo se podía construir un cálculo lógico (como un sistema Hilbert o Gentzen, pero creo que se refieren a Russell / Whitehead) que podría realizar inferencia. Creo que fue el documento "Perceptrons" el que introdujo una noción numérica, en lugar de simbólica, de aprendizaje en esta tradición.

¿Es posible que una máquina aprenda a jugar ajedrez solo con ejemplos? Si. ¿Tiene un modelo para jugar ajedrez? Si. ¿Es el modelo óptimo (suponiendo que haya uno)? Casi seguro que no. En inglés simple, he "aprendido ajedrez" si puedo jugar al ajedrez bien, o tal vez bastante bien. No significa que soy el jugador de ajedrez óptimo. Este es el sentido en el que Turing describía el "aprendizaje" cuando hablaba de aprender ajedrez en su artículo.

Soy muy inconsistente con el término que uso. Entonces (por ejemplo) para aprender en el límite diría "identificar", para aprender SVM diría "entrenar", pero para MCMC- "aprender" diría "optimizar". Y, por ejemplo, simplemente llamo regresión "regresión".

Como investigador en Bioplausible Machine Learning, estoy totalmente de acuerdo en que "ningún modelo es correcto pero algunos son útiles", y de hecho, los modelos y formalismos tienen el gran defecto que usan los autores que hablan sobre la optimización del problema, cuando lo que están haciendo está optimizando un modelo, es decir, explorando su espacio de parámetros y encontrando un óptimo local o con suerte global. Esto no es en general un óptimo para el problema real . Mientras que el creador de un modelo normalmente usa la terminología correcta y expone todos los supuestos, la mayoría de los usuarios pasan por alto los supuestos, que a menudo se sabe que no son válidos, y también usan un lenguaje menos preciso sobre "aprendizaje" y "optimización" y " parametrización ".

Creo que esta parametrización óptima de un modelo es lo que la gente quiere decir en Machine Learning, particularmente en Machine Learning supervisado, aunque no puedo decir que he escuchado mucho "aprender un modelo", pero ocurre, y mientras que la persona entrena el modelo, la computadora aprende los parámetros del modelo. Incluso en el aprendizaje no supervisado, el "aprendizaje" a menudo es simplemente la parametrización de un modelo, y es de esperar que "aprender un modelo" sea, por lo tanto, la parametrización óptima de un modelo (aunque a menudo las diferentes formas de buscar en el espacio de parámetros encuentran diferentes soluciones aunque puedan probarse para optimizar lo mismo). Prefiero usar "entrenar a un modelo"

De hecho, la mayor parte de mi investigación se trata de aprender el modelo en términos de descubrir un modelo mejor, o un modelo más computacional y cognitivo / biológico / ecológicamente plausible.