Traduction humaine et postédition : contrôle qualité en contexte académique

Résumé

Notre étude s’inscrit dans le prolongement d’une recherche expérimentale comparative de traduction humaine (TH) et de postédition (PE) (anglais-français), menée en 2018 avec des étudiants de 3^e bachelier en traduction (Schumacher 2020b). Dans cet article, nous présentons les résultats d’une 2^e expérience contrôlée effectuée en 2021 avec des étudiants de master. L’objectif est de comparer les produits de la TH et de la PE de traduction automatique (TA) neuronale (DeepL et Google Traduction) et de contribuer au débat sur l’actualisation de la formation initiale des traducteurs. L’analyse quantitative de cette 2^e expérience fait ressortir que les textes postédités ont été considérés de meilleure qualité globale que les TH. Les résultats de l’évaluation humaine de la qualité ont également révélé de très hauts taux de réussite en PE (particulièrement avec DeepL) et ont permis de confirmer l’existence d’un effet nivelant en PE sur la qualité des textes cibles : la PE – en particulier avec Google Traduction – a donné lieu à une relation inverse entre le niveau d’un étudiant en TH et la qualité de sa PE. Autrement dit, plus l’étudiant est faible en TH, plus il tire avantage de la PE et vice versa. Enfin, il semblerait que la qualité d’une PE dépende du système de TA neuronale ; les étudiants ayant obtenu de meilleurs résultats avec DeepL.

Mots-clés :

• postédition,
• traduction automatique neuronale,
• recherche expérimentale,
• évaluation de la qualité en traduction,
• étudiants en traduction

Abstract

Our study is a follow-up to a 2018 comparative experimental research on human translation (HT) and machine translation (MT) post-editing (PE) (English-French) that was conducted with third-year bachelor students in translation (Schumacher 2020b). In this article we provide the results of a 2^nd controlled experiment conducted in 2021 with master’s students. The objectives are to compare both HT and MTPE products (DeepL and Google Translate) and to contribute to the debate on adapting translator training programs. Quantitative analysis of this 2^nd experiment shows that post-edited texts were judged of better overall quality than HT. The human quality assessment also shows very high success rates in PE (especially with DeepL) and confirmed the existence of a leveling effect in PE on the target text quality: PE–particularly with Google Translate–gives rise to an inverse relationship between a student’s performance in HT and the quality of his/her post-edited product. In other words, students with poor-quality human-translated productions are the ones who benefit most from PE and vice versa. Finally, it appears the quality of a post-edited text depends on neural MT system since students performed better with DeepL.

Keywords:

• post-editing,
• neural machine translation,
• experimental research,
• translation quality assessment,
• students in translation

Resumen

Este artículo es la continuación de una investigación experimental comparativa de traducción humana (TH) y posedición (PE) (inglés-francés), realizada en 2018 con estudiantes de 3.^er año de traducción (Schumacher 2020b). En concreto, presentamos los resultados de un segundo experimento controlado realizado en 2021 con estudiantes de máster, donde comparamos los productos de TH y de PE de traducción automática (TA) neuronal (DeepL y Traductor de Google) con el objetivo de contribuir al debate sobre la actualización de la formación inicial de los traductores. El análisis cuantitativo de este segundo experimento revela que los textos post-editados pueden considerarse de mejor calidad general que los de TH. Los resultados de la evaluación humana de la calidad también revelan unos índices de éxito muy elevados en PE, especialmente con DeepL, y confirman la existencia de un efecto de nivelación en PE sobre la calidad de los textos meta: la PE (especialmente con Traductor de Google) da lugar a una relación inversa entre el nivel de estudiantes en TH y la calidad de su PE. En otras palabras, cuanta menos competencia tiene el estudiante en TH, más se beneficia de la PE y viceversa. Por último, parece que la calidad de PE depende del sistema de TA neuronal puesto que los estudiantes obtienen mejores resultados con DeepL.

Palabras clave:

• posedición,
• traducción automática neuronal,
• investigación experimental,
• evaluación de la calidad de la traducción,
• estudiantes en traducción