Florian Schottmann
28 novembre 2023
Un benchmark pour évaluer les métriques de la traduction automatique pour les dialectes n’ayant pas de normes orthographiques
Avertissement: cet article a été écrit en 2023 et décrit la situation avant la fusion de Textshuttle avec Supertext et la refonte du site web supertext.com qui en a découlé.
Pour progresser dans le domaine du traitement du langage naturel, il est important de connaître les limites des métriques d’évaluation utilisées. Dans cet article, nous évaluons la fiabilité des métriques pour les dialectes non standardisés, c’est-à-dire les variétés linguistiques n’ayant pas de normes orthographiques. Pour ce faire, nous avons collecté un ensemble de données composé de traductions humaines et d’évaluations de traductions automatiques menées par des linguistes humains/-es. La langue source est l’anglais et les langues cibles sont deux dialectes du suisse allemand. Nous avons en outre créé un ensemble de défis pour la variation dialectale et évalué les performances des métriques existantes. Notre analyse montre que les métriques existantes ne peuvent pas évaluer de manière fiable les résultats de génération de texte en suisse allemand, en particulier au niveau du segment. Nous proposons des adaptations initiales du design qui augmentent la fiabilité avec les dialectes non standardisés, bien qu’il existe encore une importante marge de progression. L’ensemble de données, le code et les modèles sont disponibles sur GitHub.
