¿Cuál es la diferencia entre 'transferencia de aprendizaje' y 'adaptación de dominio'?

19

¿Hay alguna diferencia entre 'transferencia de aprendizaje' y 'adaptación de dominio'?

No sé sobre el contexto, pero entiendo que tenemos un conjunto de datos 1 y lo entrenamos, después de lo cual tenemos otro conjunto de datos 2 para el que queremos adaptar nuestro modelo sin volver a entrenar desde cero, para lo cual 'transferir aprendizaje' y 'adaptación de dominio' ayuda a resolver este problema.

Según el campo de las redes neuronales convolucionales:

Por "aprendizaje de transferencia" me refiero a "ajuste fino" [1]
En este caso [2] no está supervisado, pero ¿la "adaptación del dominio" siempre debe estar sin supervisión?

— mrgloom
fuente

3

Una encuesta sobre transferencia de aprendizaje realizada por Pan et. al, 2009 proporciona alguna idea. Clasifican la adaptación del dominio como un tipo de aprendizaje de transferencia.

— kedarps el

13

Parece que hay cierto desacuerdo entre los investigadores sobre cuál es la diferencia entre el "aprendizaje de transferencia" y la "adaptación de dominio".

De {0}:

La noción de adaptación de dominio está estrechamente relacionada con el aprendizaje de transferencia. El aprendizaje de transferencia es un término general que se refiere a una clase de problemas de aprendizaje automático que implican diferentes tareas o dominios. En la literatura, todavía no existe una definición estándar de aprendizaje de transferencia. En algunos documentos es intercambiable con la adaptación del dominio.

De 1}:

Referencias

{0} Li, Qi. "Encuesta de literatura: algoritmos de adaptación de dominio para el procesamiento del lenguaje natural". Departamento de Informática The Graduate Center, The City University of New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=es&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( espejo )
{1} Pan, Sinno Jialin y Qiang Yang. "Una encuesta sobre transferencia de aprendizaje". IEEE Transacciones sobre conocimiento e ingeniería de datos 22, no. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( espejo ) (2.6k citas)

— Franck Dernoncourt
fuente

10

Del artículo de Hal Daume [1]:

La configuración de clasificación estándar es una distribución de entrada p (X) y una distribución de etiqueta p (Y | X). Adaptación del dominio: cuando p (X) cambia entre entrenamiento y prueba. Transferencia de aprendizaje: cuando p (Y | X) cambia entre entrenamiento y prueba.

En otras palabras, en DA la distribución de entrada cambia pero las etiquetas siguen siendo las mismas; en TL, las distribuciones de entrada permanecen igual, pero las etiquetas cambian.

https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( espejo )

— Rahul Jha
fuente

Bienvenido a Cross Validated ! Tómese un momento para ver nuestro recorrido . Se prefiere que las respuestas sean independientes con citas apropiadas. Si tuviera que usar la información de su enlace para proporcionar una respuesta razonable a la pregunta con el enlace para leer más, esta sería una respuesta mucho mejor.

— Tavrock

1

No creo en esta explicación. No le creo a HAL aquí. ¿Qué pasa si ambos

p (Y | X)

$p(Y|X)$ y

p (X)

$p(X)$ cambiar al mismo tiempo?

— hombre de las cavernas

Estoy de acuerdo con @caveman. Para muchos escenarios de transferencia de aprendizaje ese es el caso.

— pir

2

A lo largo de la literatura sobre el aprendizaje de transferencia, hay una serie de inconsistencias terminológicas. Frases como el aprendizaje de transferencia y la adaptación de dominio se utilizan para referirse a procesos similares. La adaptación de dominio es el proceso de adaptar uno o más dominios de origen para los medios de transferir información para mejorar el rendimiento de un alumno objetivo. El proceso de adaptación del dominio intenta alterar un dominio fuente en un intento de acercar la distribución de la fuente a la del destino. En la configuración de Adaptación de dominio, los dominios de origen y destino tienen diferentes distribuciones marginales p (X). Según la encuesta de Pan, Transfer Learning es un término más amplio que también puede incluir el caso cuando hay una diferencia en las distribuciones condicionales p (Y | X) de los dominios de origen y destino. A diferencia de,

https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

— Christos Karatsalos
fuente

¿Sería posible agregar una cita para la "encuesta de Pan"? Creo que haría esta respuesta más útil para futuros lectores.

— Silverfish

Pan, Sinno Jialin y Qiang Yang. "Una encuesta sobre transferencia de aprendizaje". IEEE Transacciones sobre conocimiento e ingeniería de datos 22, no. 10 (2010): 1345-1359. scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/…

— Christos Karatsalos

2

Creo que "Aprendizaje de transferencia" es un término más general, y "Adaptación de dominio" es un escenario de "Aprendizaje de transferencia".

[1] Atención transferible para la adaptación del dominio. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

— Esperanza
fuente

0

Según [1], la adaptación de dominio es el aprendizaje de transferencia en PNL: "El aprendizaje de transferencia en el dominio de PNL a veces se denomina adaptación de dominio".

[1] Pan, SJ y Q. Yang. “Una encuesta sobre aprendizaje de transferencia”. Transacciones IEEE sobre conocimiento e ingeniería de datos 22, no. 10 (octubre de 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 o https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf

— Duque
fuente