Esta pregunta se refiere al algoritmo generativo versus discriminativo, pero ¿alguien puede dar un ejemplo de la diferencia entre estas formas cuando se aplica al procesamiento del lenguaje natural? ¿Cómo se usan los modelos generativos y discriminativos en la PNL?
Respuestas:
Digamos que está prediciendo el tema de un documento dadas sus palabras.
Un modelo generativo describe la probabilidad de cada tema y la probabilidad de que las palabras reciban el tema. Así es como dice que los documentos son realmente "generados" por el mundo: un tema surge de acuerdo con alguna distribución, las palabras surgen debido al tema, usted tiene un documento. La clasificación de documentos de palabras W en el tema T es una cuestión de maximizar la probabilidad conjunta: P (T, W) = P (W | T) P (T)
Un modelo discriminativo funciona solo describiendo la probabilidad de que un tema reciba las palabras. No dice nada sobre la probabilidad de que las palabras o el tema sean solos. La tarea es modelar P (T | W) directamente y encontrar la T que maximiza esto. Estos enfoques no se preocupan por P (T) o P (W) directamente.