Modelos generativos versus modelos discriminatorios (en contexto bayesiano)

22

¿Cuáles son las diferencias entre los modelos generativos y discriminativos (discriminantes) (en el contexto del aprendizaje bayesiano y la inferencia)?

¿Y qué tiene que ver con la predicción, la teoría de la decisión o el aprendizaje no supervisado?

bayesian predictive-models unsupervised-learning

— nkint
fuente

Lo siento, no entiendo lo que quieres decir con la segunda oración. ¿Intentarías reformularlo?

— csgillespie

Oh, me acabo de unir al mundo de la estadística y el aprendizaje automático, lo siento, no descubrí cómo vincular el aprendizaje no supervisado con la teoría de la decisión. pero todavía estoy estudiando!

— nkint

1

Estoy confundido sobre cómo encaja con la pregunta. Por ejemplo, las palabras "predicción", "teoría de decisión" o "sin supervisión" no aparecen en la respuesta aceptada

— csgillespie

35

$\{(x_i,y_i)\}$ $p(x,y)$ $p(y|x)$ $p(y|x)$ .

$(y)$ $p(x|y)$

Puede haber casos en que un modelo sea mejor que el otro (p. Ej., Los modelos discriminatorios generalmente tienden a mejorar si tiene muchos datos; los modelos generativos pueden ser mejores si tiene algunos datos adicionales sin etiquetar). De hecho, también existen modelos hybird que intentan traer lo mejor de ambos mundos. Vea este artículo como ejemplo: Híbridos con principios de modelos generativos y discriminativos.

— ébano1
fuente

1

Buena respuesta. Con respecto a la comparación de ejemplos canónicos de clasificadores discriminativos vs generativos (regresión logística y Bayes ingenuos gaussianos respectivamente), encontré que este capítulo del libro es muy accesible que el Ng: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf

— Josh Hemann

3

Una adición a la respuesta anterior:

Dado que el discriminante solo se preocupa por P (Y | X), mientras que el generativo se preocupa por P (X, Y) y P (X) al mismo tiempo, para predecir bien P (Y | X), el modelo generativo tiene menos grado de libertad en el modelo comparado con el modelo discriminante. Entonces, el modelo generativo es más robusto , menos propenso al sobreajuste, mientras que el discriminante es al revés.

Eso explica la respuesta anterior

Puede haber casos en que un modelo sea mejor que el otro (p. Ej., Los modelos discriminatorios generalmente tienden a funcionar mejor si tiene muchos datos; los modelos generativos pueden ser mejores si tiene algunos datos adicionales sin etiquetar).

— Inteligencia artificial
fuente

2

¿Puede explicar lo que dice sobre el hecho de que los modelos generativos tienen menos grados de libertad? ¿Prueba? ¿Campo de golf? Gracias

— Patrick