Nell’attuale scenario di forte espansione della tecnologia di traduzione basata sull’intelligenza artificiale, è stata ufficialmente presentata TransBench, la prima lista di valutazione specificamente pensata per la traduzione AI con un’ottica applicativa. Questa iniziativa nasce dalla collaborazione tra l’International AI Business Team di Alibaba, lo Shanghai Artificial Intelligence Laboratory e la Beijing Language University, con l’obiettivo primario di definire uno standard uniforme per la valutazione della qualità delle traduzioni automatiche a beneficio dell’intero settore.
TransBench si distingue dai sistemi di valutazione tradizionali introducendo metriche innovative cruciali per i modelli linguistici di grandi dimensioni, come il tasso di “allucinazioni” (informazioni inventate), la gestione di parole culturalmente sensibili e il corretto uso delle forme di cortesia. Questi indicatori sono stati definiti raccogliendo feedback diretti da scenari d’uso reali, puntando a misurare l’efficacia pratica e l’adattabilità culturale delle traduzioni. Ad esempio, una traduzione che suona fluida ma inventa contenuti viene classificata come “allucinazione”; analogamente, traduzioni che non rispettano le sensibilità culturali locali o tralasciano le necessarie forme di cortesia influiscono negativamente sul punteggio finale.
Secondo i più recenti risultati emersi dalla valutazione, GPT-4o si conferma come il punto di riferimento nel campo della traduzione AI, eccellendo nella traduzione multilingue e raggiungendo il punteggio complessivo più elevato. Seguono a breve distanza DeepL Translate e GPT-4-Turbo. È interessante notare come DeepL Translate sia un modello specificamente ottimizzato per la traduzione automatica, la cui ultima versione, rilasciata di recente, ha mostrato un significativo miglioramento qualitativo. Nel settore specifico dell’e-commerce, si distingue anche DeepSeek-R1, dimostrando la sua competitività in ambiti verticali.
Sul fronte delle sfumature culturali, i modelli della serie Qwen hanno ottenuto risultati notevoli, con Qwen2.5-0.5B-Instruct e Qwen2.5-1.5B-Instruct che si sono posizionati rispettivamente al primo e secondo posto. Questo sottolinea i loro punti di forza nella gestione delle complessità interculturali nella traduzione. Questa serie di modelli, frutto della collaborazione tra diverse istituzioni, supporta molteplici lingue ed è stata sviluppata proprio per affinare l’adattabilità culturale dei testi tradotti.
Per quanto riguarda la traduzione dalla/alla lingua cinese, GPT-4o si conferma leader, seguito da DeepSeek-V3 e Claude-3.5-Sonnet. In particolare, DeepSeek-V3 ha attirato l’attenzione per le sue performance eccellenti nel dominio dell’e-commerce.
I metodi di valutazione e i dataset impiegati da TransBench sono stati resi accessibili pubblicamente (open-source), con l’intento di incoraggiare le principali entità attive nella traduzione AI a partecipare attivamente, realizzando confronti diretti e valutazioni delle proprie performance. Questa apertura non solo getta le basi per una maggiore standardizzazione del settore, ma stimola anche l’innovazione e il progresso nella tecnologia di traduzione basata sull’intelligenza artificiale.
Il team di Alibaba International AI Business ha sottolineato come l’evoluzione continua della tecnologia di traduzione imponga requisiti sempre più elevati per i modelli. TransBench nasce proprio come risposta a questa esigenza, offrendo uno strumento di valutazione all’altezza delle sfide attuali. In futuro, Alibaba International intende proseguire il proprio impegno nell’applicazione dell’IA per supportare un numero crescente di aziende nel loro percorso di espansione globale.
In un mercato della traduzione AI sempre più competitivo, l’introduzione di TransBench fornisce indubbiamente un punto di riferimento chiaro per gli sviluppatori del settore e, al contempo, offre agli utenti finali uno standard affidabile a cui fare riferimento nella scelta dei servizi di traduzione più adeguati alle proprie necessità.
