Aprendizaje no supervisado, supervisado y semi-supervisado

En el contexto del aprendizaje automático, ¿cuál es la diferencia entre

aprendizaje sin supervisión
aprendizaje supervisado y
aprendizaje semi-supervisado?

¿Y cuáles son algunos de los principales enfoques algorítmicos a considerar?

— Ami
fuente

Primero, dos líneas del wiki: "En ciencias de la computación, el aprendizaje semi-supervisado es una clase de técnicas de aprendizaje automático que hacen uso tanto de datos etiquetados como no etiquetados para el entrenamiento, generalmente una pequeña cantidad de datos etiquetados con una gran cantidad de datos no etiquetados. El aprendizaje semi-supervisado se ubica entre el aprendizaje no supervisado (sin datos de entrenamiento etiquetados) y el aprendizaje supervisado (con datos de entrenamiento completamente etiquetados) ". ¿Eso ayuda?

¿Qué tienes en mente con los "enfoques algorítmicos"? Di algunos ejemplos de aplicaciones en mi respuesta, ¿es eso lo que estás buscando?

— Peter Smit

Respuestas:

En general, los problemas del aprendizaje automático pueden considerarse variaciones en la estimación de funciones para la clasificación, predicción o modelado.

En el aprendizaje supervisado, uno está provisto de entrada ( $x_1$ , $x_2$ , ...,) y salida ( $y_1$ , $y_2$ , ...,) y tiene el desafío de encontrar una función que se aproxime a este comportamiento de manera generalizable. El resultado podría ser una etiqueta de clase (en clasificación) o un número real (en regresión); estos son la "supervisión" en el aprendizaje supervisado.

$x_1$ $x_2$

El aprendizaje semi-supervisado implica la estimación de la función en datos etiquetados y no etiquetados. Este enfoque está motivado por el hecho de que los datos etiquetados son a menudo costosos de generar, mientras que los datos no etiquetados generalmente no lo son. El desafío aquí consiste principalmente en la cuestión técnica de cómo tratar los datos mezclados de esta manera. Consulte esta Encuesta de literatura de aprendizaje semi-supervisada para obtener más detalles sobre los métodos de aprendizaje semi-supervisados.

$a_1$ $a_2$ $r_1$ $r_2$

— John L. Taylor
fuente

Su respuesta implica que el aprendizaje supervisado es preferible al aprendizaje semi-supervisado, siempre que sea posible. ¿Es eso correcto? Si no, ¿cuándo podría ser mejor el aprendizaje semi-supervisado?

— naught101

@ naught101 ¿Cómo lees eso de su respuesta? Estoy de acuerdo con lo que dice John, pero diría lo contrario de lo que usted dice, a saber, que el aprendizaje semi-supervisado es preferible al aprendizaje supervisado siempre que sea posible. Es decir, si tiene algunos datos etiquetados y algunos datos no etiquetados (generalmente mucho más que la cantidad de datos etiquetados), sería mejor si pudiera hacer uso de todos los datos que si solo pudiera hacer uso de los datos etiquetados. El objetivo de utilizar el aprendizaje semi-supervisado es superar el rendimiento obtenido al realizar un aprendizaje supervisado o no supervisado.

— HelloGoodbye

@HelloGoodbye: porque el único beneficio especificado para el aprendizaje semi-supervisado es que es más barato en algunos casos, pero tiene el inconveniente adicional de ser más desafiante. Me parece razonable que el aprendizaje totalmente supervisado sea más fácil y más preciso (en igualdad de condiciones), dado que se suministran más datos de verdad. Así que solo estaba pidiendo ejemplos donde, dada la elección entre los dos, sería preferible semi-supervisado. Tu comentario tiene sentido, pero ¿hay algún caso en el que todos los datos estén etiquetados y aún prefieras semi-supervisado?

— naught101

@ naught101 Supongo que si todos los datos están etiquetados, no se gana mucho utilizando el aprendizaje semi-supervisado en lugar de utilizar el aprendizaje supervisado normal. Cuando tiene una gran cantidad de datos sin etiquetar y realiza un aprendizaje semi-supervisado, la razón principal por la que ve un rendimiento mejorado es porque transfiere el aprendizaje y también puede extraer experiencia de los datos sin etiquetar.

— HelloGoodbye

@ naught101 Sin embargo, al asignar a la red la tarea de reproducir los datos de entrada lo mejor posible de los datos de salida (es decir, implementar un codificador automático, que es un tipo de aprendizaje no supervisado), la red se ve obligada a aprender buenas representaciones de los datos. Esto puede actuar como una especie de regularización, que a su vez también puede resultar beneficiosa. Por lo tanto, podría haber una pequeña ganancia de usar el aprendizaje semi-supervisado en lugar del aprendizaje supervisado normal, incluso si todos los datos estuvieran etiquetados. Sin embargo, no sé cuán grande es este efecto.

— HelloGoodbye

Aprendizaje sin supervisión

El aprendizaje no supervisado es cuando no hay datos etiquetados disponibles para el entrenamiento. Ejemplos de esto son a menudo los métodos de agrupamiento.

Aprendizaje supervisado

En este caso, sus datos de entrenamiento existen fuera de los datos etiquetados. El problema que resuelve aquí a menudo es predecir las etiquetas para los puntos de datos sin etiqueta.

Aprendizaje semi-supervisado

En este caso, se utilizan tanto datos etiquetados como datos no etiquetados. Esto, por ejemplo, se puede usar en redes de creencias profundas, donde algunas capas están aprendiendo la estructura de los datos (sin supervisión) y una capa se usa para hacer la clasificación (entrenada con datos supervisados)

— Peter Smit
fuente

No creo que supervisado / no supervisado sea la mejor manera de pensarlo. Para la minería de datos básica, es mejor pensar en lo que está tratando de hacer. Hay cuatro tareas principales:

predicción. Si está prediciendo un número real, se llama regresión. Si está prediciendo un número entero o una clase, se llama clasificación.
modelado. el modelado es lo mismo que la predicción, pero el modelo es comprensible para los humanos. Las redes neuronales y las máquinas de vectores de soporte funcionan muy bien, pero no producen modelos comprensibles [1]. los árboles de decisión y la regresión lineal clásica son ejemplos de modelos fáciles de entender.
semejanza. Si está tratando de encontrar grupos naturales de atributos, se llama análisis factorial. Si está tratando de encontrar grupos naturales de observaciones, se llama agrupación.
asociación. es muy parecido a la correlación, pero para enormes conjuntos de datos binarios.

[1] Aparentemente, Goldman Sachs creó toneladas de grandes redes neuronales para la predicción, pero luego nadie las entendió, por lo que tuvieron que escribir otros programas para tratar de explicar las redes neuronales.

— Neil McGuigan
fuente

¿Puedes dar más información sobre la historia de GS? (no estoy seguro por qué no puedo comentar directamente en su comentario)

— YA

No recuerdo exactamente dónde lo leí, pero aquí hay más información sobre AI @ GS: hplusmagazine.com/2009/08/06/…

— Neil McGuigan

Tengo la sensación de que 1,2 describen el aprendizaje en un entorno supervisado y 3,4 residen en un entorno no supervisado. Además: ¿qué pasa si busca similitudes para predecir? ¿Eso se considera modelado?

— Sr. Tsjolder