Illustration of person relaxing on phone
Illustration of person relaxing on phone

Florian Schottmann

Research

28. November 2023

Eine Benchmark für die Bewertung von Metriken für die maschinelle Übersetzung von Dialekten ohne Standardorthografie


_Anmerkung: Dieser Artikel wurde im Jahr 2023 verfasst und beschreibt die Situation vor der Fusion zwischen Textshuttle und Supertext und dem folgenden Relaunch auf supertext.com.




Um Fortschritte in der Verarbeitung natürlicher Sprache zu erzielen, ist es wichtig, sich der Einschränkungen der verwendeten Bewertungsmetriken bewusst zu sein. In diesem Artikel analysieren wir, wie robust Metriken für nicht standardisierte Dialekte sind, d. h. für Sprachvarietäten ohne standardisierte Orthografie. Um dies zu untersuchen, erstellen wir einen Datensatz mit menschlichen Übersetzungen und menschlichen Bewertungen automatischer maschineller Übersetzungen vom Englischen in zwei schweizerdeutsche Dialekte. Wir erstellen ausserdem ein Challenge-Set für dialektale Variationen und bewerten die Leistungen bestehender Metriken. Unsere Ergebnisse zeigen, dass die bestehenden Metriken den generierten schweizerdeutschen Output nicht zuverlässig bewerten können, insbesondere nicht auf Segmentebene. Wir schlagen vorläufige Anpassungen des Designs vor, die die Robustheit gegenüber nicht standardisierten Dialekten erhöhen. Sind uns jedoch bewusst, dass noch viel Raum für weitere Verbesserungen besteht. Die Datensätze, der Code und die Modelle sind auf GitHub verfügbar.


Lesen Sie das gesamte Forschungspapier auf arXiv

Weitere Beiträge
Supertext erweitert Angebot für sichere KI-Übersetzung auf 28 Sprachen
News

Supertext erweitert Angebot für sichere KI-Übersetzung auf 28 Sprachen

23. Juli 2025


Angela Lanza-Mariani