¿Cuál es la calidad real de las traducciones automáticas?

Hasta hoy, yo, como un laico AI, estoy confundido por las mejoras prometidas y logradas de la traducción automática.

Mi impresión es: todavía hay un muy, muy lejos camino por recorrer. ¿O hay otras explicaciones de por qué las traducciones automáticas (ofrecidas y proporcionadas, por ejemplo, por Google) de artículos de Wikipedia bastante simples que todavía se leen y suenan principalmente tontas, son apenas legibles y solo parcialmente útiles y útiles?

Puede depender de las preferencias personales (relativas a la legibilidad, la ayuda y la utilidad), pero mis expectativas personales están muy decepcionadas.

Al revés: ¿son las traducciones de Google legibles, útiles y útiles para la mayoría de los usuarios ?

¿O Google tiene razones para retener sus logros (y no para mostrar a los usuarios lo mejor que pueden mostrar)?

Resultado preliminar: todavía estamos lejos de poder hablar con inteligencias artificiales en pie de igualdad y comprensión, solo en el nivel de las cuerdas. Entonces, ¿por qué deberíamos tener miedo? Porque ellos saben más de lo que nosotros sabemos , pero nosotros no.

¿Quién afirmó que la traducción automática es tan buena como un traductor humano? Para mí, como traductor profesional que vive de la traducción desde hace 35 años, MT significa que mi producción diaria de traducción de calidad humana ha crecido en un factor de 3 a 5, dependiendo de la complejidad del texto fuente.

No puedo aceptar que la calidad de MT disminuya con la longitud de la entrada de idioma extranjero. Eso solía ser cierto para los viejos sistemas con análisis semántico y gramatical. No creo que conozca todos los sistemas antiguos (conozco Systran, una herramienta basura de Siemens que se vendió de una compañía a otra como un regalo de Danaer, XL8, Traductor y traductor personal), pero incluso un sistema profesional en el que invertí 28,000 DM (!!!!) falló miserablemente.

Por ejemplo, la oración:

En este caluroso día de verano tuve que trabajar y fue un fastidio.

se puede traducir usando varias herramientas MT al alemán.

Traductor personal 20 :

Auf diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

Pronto :

An diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

DeepL :

An diesem heißen Sommertag musste ich arbeiten und es war eine Qual.

Google:

An diesem heißen Sommertag musste ich arbeiten und es war ein Schmerz im Arsch.

Hoy, Google generalmente me presenta traducciones legibles y casi correctas, y DeepL es aún mejor. Justo esta mañana traduje 3500 palabras en 3 horas y el resultado es perfecto, aunque el texto fuente estaba lleno de errores (escrito en chino).

Las traducciones de Google pueden ser útiles, especialmente si sabe que las traducciones no son perfectas y si solo desea tener una idea inicial del significado del texto (cuyas traducciones de Google a veces pueden ser bastante engañosas o incorrectas). No recomendaría el traductor de Google (o cualquier otro traductor no humano) para realizar una traducción seria, a menos que sea posiblemente una oración o palabra común, no involucra textos muy largos y lenguaje informal (o jerga), las traducciones involucran Idioma inglés o no tiene acceso a un traductor humano.

$0$$100$$100$

En el artículo Making AI significativo de nuevo , los autores también discuten la dificultad de la tarea de traducción (que se cree que es un problema de AI completo ). También mencionan el transformador (otro modelo de traducción automática de última generación), que logra resultados bastante pobres (evaluados utilizando la métrica BLEU).

Para concluir, la traducción automática es un problema difícil y los sistemas actuales de traducción automática definitivamente no funcionan tan bien como un traductor humano profesional.

Has hecho muchas preguntas, algunas de las cuales no pueden responderse definitivamente. Para dar una idea de la calidad (y su historia) de las traducciones automáticas, me gusta referirme a Christopher Manning su 'punto de referencia de una oración' como se presenta en su conferencia . Contiene un ejemplo de chino a inglés que se compara con la salida de Google Translate. La traducción correcta para el ejemplo sería:

En 1519, seiscientos españoles desembarcaron en México para conquistar el Imperio azteca con una población de unos pocos millones. Perdieron dos tercios de sus soldados en el primer choque.

Google Translate devolvió las siguientes traducciones.

2009 1519 600 españoles desembarcaron en México, millones de personas para conquistar el imperio azteca, los primeros dos tercios de los soldados contra su pérdida.

2011 1519 600 españoles desembarcaron en México, millones de personas para conquistar el imperio azteca, la pérdida inicial de soldados, dos tercios de sus encuentros.

2013 1519 600 españoles desembarcaron en México para conquistar el imperio azteca, cientos de millones de personas, la confrontación inicial de la pérdida de soldados de dos tercios.

2015 1519 600 españoles desembarcaron en México, millones de personas para conquistar el imperio azteca, los primeros dos tercios de la pérdida de soldados que enfrentaron.

2017 En 1519, 600 españoles desembarcaron en México para conquistar a los millones de personas del imperio azteca, la primera confrontación que mataron a dos tercios.

Si Google retiene u 'oculta' sus mejores resultados: lo dudo. Hay muchos investigadores excelentes que trabajan en el campo del procesamiento del lenguaje natural (PNL). Si Google tuviera un 'gran logro' para la traducción, los investigadores lo descubrirían tarde o temprano. (¿Por qué Google escondería su 'mayor logro' de todos modos? Parecen ver el beneficio del código abierto, ver Transformer [1] o BERT [2])

NÓTESE BIEN. Para obtener una lista actualizada de algoritmos de última generación en PNL, consulte la tabla de clasificación SQuAD2.0 .

[1] Vaswani, Ashish y col. "La atención es todo lo que necesitas". Avances en sistemas de procesamiento de información neuronal. 2017

[2] Devlin, Jacob, y col. "Bert: Pre-entrenamiento de transformadores bidireccionales profundos para la comprensión del lenguaje". preimpresión de arXiv arXiv: 1810.04805 (2018).

Realmente depende del par de idiomas y del tema del contenido. Por lo general, la mejor traducción es la traducción a / del inglés a cualquier otro idioma. La traducción hacia y desde los idiomas populares funciona mejor, por ejemplo, traducir del inglés al rumano es una traducción peor que el inglés al ruso. Pero traducir de inglés a ruso o rumano es mejor que traducir de ruso a rumano. Y traducir rumano a inglés es mejor que traducir inglés a rumano.

Pero si está acostumbrado a trabajar con traductores y tiene una familiaridad pasajera con los idiomas, los errores de traducción y el tema, es fácil entender lo que se suponía que debía estar allí. Y, en ese punto, a veces es más fácil leer algo traducido a su idioma nativo para un escaneo rápido que leerlo en un segundo idioma.

Los idiomas menos populares (para la traducción, no necesariamente en número de hablantes) están mucho más cerca de las traducciones literales, solo un poco mejor que lo que usted haría personalmente usando un diccionario para dos idiomas que no conoce.

¿Me equivoco y las traducciones de Google son legibles, útiles y útiles para la mayoría de los usuarios?

Sí, son algo útiles y le permiten traducir más rápido.

¿O Google tiene razones para retener sus mayores logros (y no para mostrar a los usuarios lo mejor que pueden mostrar)?

Quizás no lo sé. Si busca información, Google realmente hace muchas cosas estúpidas y horribles, como aprender de lo que los usuarios dicen en Internet, tomando datos inadecuados como conjuntos de datos de entrada confiables.

Disculpas por no escribir en inglés. Encuentre la traducción adaptada aquí:

Para darles a las personas interesadas una idea de la calidad de MT (DeepL), vea este ejemplo de un texto en el que estaba trabajando esta mañana (6.300 palabras, comenzó a las 9 a.m., entrega hoy alrededor de la 1 p.m. y aún encuentra tiempo para esta publicación). Estaba trabajando en esta oración (201 palabras) cuando publiqué mi comentario.

o cualquier proceso que se ejecute o se active mientras usted no haya iniciado sesión en este sitio web, o que interfiera con el funcionamiento adecuado o coloque una carga irrazonable en la infraestructura de este sitio web; o (e) Usar software, dispositivos u otros procesos manuales o automatizados para "rastrear", "raspar" o "arañar" cualquier página de este sitio web; o (f) Descompilar, realizar ingeniería inversa o intentar obtener el código fuente de este sitio web ".

DeepL devuelve esto:

Sie versichern, garantieren und verpflichten sich gegenüber ABC, dass Sie muere nicht tun werden: (a) betrügerische, missbräuchliche oder anderweitig illegale Aktivitäten durchzuführen, morir Anlass für die Beendigung Ihres rechts auf Zugang oder Nutzung dieser Website und / oder der Dienste sein können; oder (b) Mitteilungen oder Aufforderungen, die dazu bestimmt sind oder sind, Passwörter, Konten oder Private Informationen von anderen Nutzern dieser Website zu erhalten, zu posten oder zu übertragen oder posten oder zu posten oder zu übertragen; oder (c) die Sicherheit eines Computernetzwerks verletzen, Passwörter oder Sicherheitsverschlüsselungscodes knacken, material ilegales (einschließlich Material, das als bedrohlich oder obszön angesehen werden kann) übertragen oder speichern oder sich an ile sät anige, ete sich angal die ausdrücklich verboten sind; oder (d) Mailliste, Listenserver oder jede Otros Forma von Auto-Responder oder "Spam" auf dieser sitio web oder Prozesse, mueren ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser sitio web angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oder eine del unangemessene Belastung der Infrastruktur dieser Sitio web stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sitio web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Website angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oine ean unangemessene Belastung der Infrastruktur dieser Website stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sitio web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Website angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oine ean unangemessene Belastung der Infrastruktur dieser Website stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sitio web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten. zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Website zu erhalten.

Me llevó entre 5 y 10 minutos ajustar este párrafo.

Como traductor, sé que no puedo confiar en la traducción automática, pero aprendí los detalles y las capacidades de los diferentes sistemas con el tiempo y sé a qué prestar atención.

MT me ayuda mucho en mi trabajo.

Esto no será tanto una respuesta como un comentario.

La calidad depende de varias cosas, incluyendo (como Aaron dijo anteriormente) 1) el par de idiomas y 2) el tema, pero también 3) los géneros y 4) el estilo del original y 5) la cantidad de texto paralelo que tiene para entrenar el sistema MT.

Para establecer el escenario, prácticamente todo el MT en estos días se basa en textos paralelos, es decir, un texto en dos idiomas diferentes, presumiblemente uno es una traducción del otro (o ambos son una traducción de algún tercer idioma); y potencialmente usando diccionarios (quizás asistidos por procesos morfológicos) como retroceso cuando los textos paralelos no contienen palabras particulares.

Además, como han dicho otros, un sistema de MT de ninguna manera comprende los textos que está traduciendo; solo ve cadenas de caracteres y secuencias de palabras formadas por caracteres, y busca cadenas y secuencias similares en textos que se tradujeron anteriormente. (Ok, es un poco más complicado que eso, y ha habido intentos de llegar a la semántica en los sistemas computacionales, pero por ahora se trata principalmente de cadenas).

1) Los idiomas varían. Algunos idiomas tienen mucha morfología, lo que significa que hacen cosas con una sola palabra que otros idiomas hacen con varias palabras. Un ejemplo simple sería español 'cantaremos' = inglés "vamos a cantar". Y un idioma puede hacer cosas con las que el otro idioma ni siquiera se molesta, como la distinción informal / formal (tu / usted) en español, a la que el inglés no tiene un equivalente. O un idioma puede hacer cosas con la morfología que otro idioma hace con el orden de las palabras. O el guión que usa el idioma puede que ni siquiera marque los límites de las palabras (chino y algunos otros). Cuanto más diferentes sean los dos idiomas, más difícil será para el sistema MT traducir entre ellos. Los primeros experimentos en MT estadística se realizaron entre francés e inglés,

2) Tema: Si tiene textos paralelos en la Biblia (lo cual es cierto para casi cualquier par de idiomas escritos), y entrena su sistema MT fuera de esos, no espere que funcione bien en textos de ingeniería. (Bueno, la Biblia es una cantidad relativamente pequeña de texto según los estándares de entrenamiento de los sistemas de MT de todos modos, pero pretende :-).) El vocabulario de la Biblia es muy diferente al de los textos de ingeniería, y también lo es la frecuencia de varios gramática. construcciones (La gramática es esencialmente la misma, pero en inglés, por ejemplo, obtienes mucha más voz pasiva y más sustantivos compuestos en textos científicos y de ingeniería).

3) Genera: si su texto paralelo es todo declarativo (como en los manuales de tractores, por ejemplo), intentar usar el sistema MT resultante en el diálogo no le dará buenos resultados.

4) Estilo: Piensa en Hilary vs. Donald; erudito vs. popular. El entrenamiento en uno no obtendrá buenos resultados en el otro. Asimismo, capacitar el sistema de MT en novelas para adultos y usarlo en libros para niños.

5) Par de idiomas: el inglés tiene muchos textos, y las posibilidades de encontrar textos en algún otro idioma que sean paralelos a un texto en inglés dado son mucho mayores que las posibilidades de encontrar textos paralelos en, por ejemplo, ruso e igbo. (Dicho esto, puede haber excepciones, como los idiomas de la India). Como una generalización general, cuantos más textos paralelos tenga para entrenar el sistema MT, mejores resultados.

En resumen, el idioma es complicado (por eso me encanta, soy lingüista). Por lo tanto, no sorprende que los sistemas MT no siempre funcionen bien.

Por cierto, los traductores humanos tampoco siempre lo hacen tan bien. Hace una o dos décadas, estaba obteniendo traducciones de documentos de traductores humanos al inglés, para utilizarlas como materiales de capacitación para sistemas MT. Algunas de las traducciones eran difíciles de entender, y en algunos casos donde obtuvimos traducciones de dos (o más) traductores humanos, era difícil creer que los traductores habían estado leyendo los mismos documentos.

Y finalmente, hay (casi) nunca solo una traducción correcta; existen múltiples formas de traducir un pasaje, que pueden ser más o menos buenas, dependiendo de qué características (corrección gramatical, estilo, consistencia de uso, ...) desee. No hay una medida fácil de "precisión".

Sorprendentemente, todas las otras respuestas son muy vagas e intentan abordar esto desde el punto de vista del traductor humano. Pasemos al ingeniero de ML.

Al crear una herramienta de traducción, una de las primeras preguntas que debemos considerar es "¿Cómo medimos que nuestra herramienta funciona?" .

Que es esencialmente lo que pregunta el OP.

Ahora, esta no es una tarea fácil (algunas otras respuestas explican por qué). Hay un artículo de Wikipedia que menciona diferentes formas de evaluar los resultados de la traducción automática: existen puntuaciones tanto humanas como automáticas (como BLEU , NIST , LEPOR ).

Con el aumento de las técnicas de redes neuronales, esos puntajes mejoraron significativamente.

La traducción es un problema complejo. Hay muchas cosas que pueden ir bien (o mal), y el sistema de traducción por computadora a menudo ignora algunas de las sutilezas, que se destacan para un hablante humano.

Creo que si pensamos en el futuro, hay algunas cosas en las que podemos confiar:

• Nuestras técnicas son cada vez mejores, más conocidas y probadas. Esto mejorará la precisión a largo plazo.
• Estamos desarrollando nuevas técnicas que pueden tener en cuenta variables previamente ignoradas o simplemente hacer un mejor trabajo.
• Muchos de los modelos de traducción existentes a menudo se "reutilizan" para traducir otros idiomas (por ejemplo, intente traducir "JEDEN" del polaco al chino (tradicional) usando Google Translator; terminará con "ONE", que es una evidencia que señala el hecho de que Google traduce polaco a inglés y luego inglés a chino). Obviamente, este no es un buen enfoque: perderá algo de información en el proceso, pero seguirá funcionando, por lo que empresas como Google lo usan para idiomas en los que no tienen suficiente fuerza de trabajo o datos. Con el tiempo, aparecerán modelos más especializados que mejorarán la situación.
• Además, como se indicó en el punto anterior, cada vez más datos solo ayudarán a mejorar la traducción automática.

Para resumir, este problema complejo, aunque no se resuelve, ciertamente está en buen camino y permite algunos resultados impresionantes para pares de idiomas bien investigados.

"¿O Google tiene razones para retener sus logros (y no para mostrar a los usuarios lo mejor que pueden mostrar)"

Si lo fueran, entonces lo que están frenando sería increíble . Google publica muchos documentos sólidos sobre procesamiento del lenguaje natural, incluidos los que obtienen resultados de vanguardia o hacen avances conceptuales significativos . También han lanzado conjuntos de datos y herramientas muy útiles . Google es una de las pocas compañías que no solo está utilizando la vanguardia de la investigación actual, sino que está contribuyendo activamente a la literatura.

La traducción automática es solo un problema difícil. Un buen traductor humano necesita tener fluidez en ambos idiomas para hacer bien el trabajo. Cada idioma tendrá sus propios modismos y significados no literales o dependientes del contexto. Solo trabajar desde un diccionario de dos idiomas produciría resultados terribles (para un ser humano o una computadora), por lo que necesitamos entrenar nuestros modelos en cuerpos existentes que existen en varios idiomas para aprender cómo se usan realmente las palabras (nb frase compilada a mano las tablas de traducción se pueden usar como características ; simplemente no pueden ser toda la historia). Para algunos pares de idiomas, los corpus paralelos son abundantes (por ejemplo, para los idiomas de la UE, tenemos los procedimientos completos del Parlamento Europeo) Para otros pares, los datos de entrenamiento son mucho más escasos. E incluso si tenemos datos de capacitación, existirán palabras y frases menos utilizadas que no aparecen con la frecuencia suficiente para ser aprendidas.

Esto solía ser un problema aún mayor, ya que los sinónimos eran difíciles de explicar. Si nuestros datos de entrenamiento tuvieran oraciones para "El perro atrapó la pelota", pero no "El cachorro atrapó la pelota", terminaríamos con una baja probabilidad de la segunda oración. De hecho, se necesitaría un alisado significativo para evitar que la probabilidad sea cero en muchos de estos casos.

La aparición de modelos de lenguaje neuronal en los últimos 15 años más o menos ha ayudado enormemente con este problema, al permitir que las palabras se asignen a un espacio semántico de valor real antes de aprender las conexiones entre las palabras. Esto permite que se aprendan modelos en los que las palabras que están muy juntas en el significado también están muy juntas en el espacio semántico y, por lo tanto, cambiar una palabra por su sinónimo no afectará en gran medida la probabilidad de que contenga la oración. word2veces un modelo que ilustra esto muy bien; mostró que se podía, por ejemplo, tomar el vector semántico para "rey", restar el vector para "hombre", agregar el vector para "mujer" y encontrar que la palabra más cercana al vector resultante era "reina". Una vez que la investigación en modelos de lenguaje neural comenzó en serio, comenzamos a ver caídas inmediatas y masivas de perplejidad (es decir, cuán confundidos estaban los modelos con el texto natural) y estamos viendo los aumentos correspondientes en la puntuación BLEU (es decir, la calidad de la traducción) ahora que esos Los modelos de lenguaje se están integrando en los sistemas de traducción automática.

Las traducciones automáticas aún no son tan buenas como las traducciones humanas de calidad, y muy posiblemente no serán tan buenas hasta que descubramos una inteligencia artificial completamente inteligente. Pero los buenos traductores humanos son caros, mientras que todos los que tienen acceso a Internet tienen traductores automáticos disponibles. La pregunta no es si la traducción humana es mejor, sino qué tan cerca se acerca la máquina a ese nivel de calidad. Esa brecha se ha reducido y continúa reduciéndose.