Florian Schottmann
3 octobre 2024
Rendre polyglottes des LLM axés sur l’anglais: quel degré de multilinguisme est nécessaire?
Avertissement: cet article a été écrit en 2024 et décrit la situation avant la fusion de Textshuttle avec Supertext et la refonte du site web supertext.com qui en a découlé.
La vaste majorité des grands modèles de langage (LLM) actuels sont centrés sur l’anglais, car ils ont été pré-entraînés principalement à l’aide de textes rédigés en anglais. Toutefois, afin de satisfaire aux attentes des utilisateurs/-trices, les modèles doivent être en mesure de répondre de manière appropriée dans plusieurs langues une fois déployés dans des applications en aval. Cela nécessite de solides capacités de transfert interlinguistique. Dans cet article, nous explorons le degré minimal de multilinguisme nécessaire pendant les réglages de précision pour déclencher une généralisation interlinguistique dans les LLM centrés sur l’anglais. Dans le cadre d’expériences menées sur quatre LLM, nous avons constaté que l’ajustement de l’instruction multilingue avec seulement deux à trois langues est à la fois nécessaire et suffisant pour déclencher une généralisation interlinguistique efficace, le facteur limitant étant la fréquence à laquelle la langue cible est vue pendant le pré-entraînement. Des évaluations de cinq tâches différentes révèlent que l’ajustement de l’instruction multilingue est le plus bénéfique pour les tâches génératives qui supposent l’accord entre la langue source et la langue cible, comme dans les environnements de discussion, tandis qu’il est moins important pour les tâches de classification très structurées. Notre code et nos données sont disponibles sur Github.
