Performance de traduction: DeepL vs Supertext

Comme les systèmes de traduction automatique (TA) puissants se basent de plus en plus sur de grands modèles de langage (LLM), une évaluation de la qualité fiable nécessite des méthodes qui appréhendent la capacité des systèmes de TA à exploiter un contexte étendu. Cette étude compare deux systèmes de TA commerciaux – DeepL et Supertext – en évaluant leur performance sur des textes non segmentés. Nous déterminons la qualité de traduction dans quatre combinaisons linguistiques en faisant appel à des traducteurs/-trices professionnels/-elles qui évaluent des segments en ayant le contexte d’un document complet. Bien que les évaluations au niveau des segments n’indiquent pas de préférence marquée pour l’un ou l’autre des systèmes dans la plupart des cas, l’analyse à l’échelle des documents révèle une préférence pour Supertext dans trois des quatre combinaisons linguistiques, ce qui suggère une meilleure cohérence dans les textes plus longs. Nous préconisons l’utilisation de méthodes d’évaluation prenant davantage en compte le contexte afin de s’assurer que les évaluations de la qualité de la TA reflètent l’utilisabilité dans le monde réel.