Florian Schottmann
29. Januar 2024
Stand der Forschung zur Generalisierung im Bereich NLP: Taxonomie und Übersicht
Anmerkung: Dieser Artikel wurde Anfang 2024 verfasst und beschreibt die Situation vor der Fusion zwischen Textshuttle und Supertext und dem folgenden Relaunch auf supertext.com.
Die Fähigkeit, gut generalisieren zu können, ist eines der primären Ziele der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP). Was eine gute Generalisierungsfähigkeit ausmacht und wie sie bewertet werden sollte, ist allerdings bislang nicht gut erforscht. Darüber hinaus gibt es keine Bewertungsstandards für Generalisierungen. In diesem Papier zeigen wir erste Lösungsansätze für diese beiden Problemstellungen auf. Dazu präsentieren wir eine Taxonomie zur Charakterisierung und zum Verständnis der Generalisierungsforschung im Bereich der NLP. Unsere Taxonomie basiert auf einer umfassenden Literaturrecherche zur Generalisierungsforschung und enthält fünf Achsen, entlang derer sich Studien unterscheiden können: ihre Hauptmotivation, die Art der untersuchten Generalisierung, die Art der Datendiskrepanz, die Ursache der Datendiskrepanz und deren Auftreten innerhalb der Modellierungspipeline. Wir verwenden unsere Taxonomie, um über 400 Publikationen zu klassifizieren, die die Generalisierungsfähigkeit testen, und insgesamt über 600 einzelne Experimente ergeben. Unter Berücksichtigung der Ergebnisse dieser Überprüfung legen wir eine detaillierte Analyse vor, die den aktuellen Stand der Generalisierungsforschung im Bereich der NLP aufzeigt, und empfehlen Bereiche, denen in Zukunft mehr Aufmerksamkeit zuteilwerden könnte. Zusätzlich zu diesem Papier präsentieren wir eine Website, auf der die Ergebnisse unserer Analyse dynamisch erkundet werden können und die wir laufend aktualisieren möchten, wenn neue Studien zur Generalisierung in der NLP veröffentlicht werden. Mit dieser Arbeit möchten wir den Weg dafür ebnen, Generalisierungstestverfahren nach dem neuesten Stand der Technik zum neuen Standard in der NLP zu machen.
