Un confronto tra le performance di traduzione di DeepL e Supertext

Poiché i sistemi di traduzione automatica (MT) performanti si basano sempre più spesso su modelli linguistici di grandi dimensioni (LLM), un benchmarking qualitativo affidabile richiede metodi che consentano di cogliere la loro capacità di sfruttare il contesto esteso. Questo studio mette a confronto due sistemi di traduzione automatica commerciali, ovvero DeepL e Supertext, valutando la loro performance su testi non segmentati. Per determinare la qualità delle traduzioni in quattro direzioni linguistiche ci siamo avvalsi di traduttori professionisti, i quali hanno valutato i segmenti basandosi su un contesto completo a livello di documento. Se le valutazioni a livello di segmento non indicano una chiara prevalenza di uno dei due sistemi in gran parte dei casi, l’analisi a livello di documento attesta invece il vantaggio di Supertext in tre direzioni linguistiche su quattro, suggerendo dunque una maggiore coerenza nel caso di testi più lunghi. Promuoviamo l’applicazione di metodologie analitiche più sensibili al contesto, per assicurarci che le valutazioni della qualità MT riflettano un’effettiva usability nel mondo reale.

Leggi l’intero articolo di ricerca su arXiv.