NVIDIA presenta Nemotron 3.5 Transcribe per trascrivere e tradurre l'audio
NVIDIA lancia Nemotron 3.5 Transcribe e il dataset Granary v2, portando trascrizione, diarizzazione e traduzione multilingue in un unico modello open-weight.
In breve
- Nemotron 3.5 Transcribe trascrive 40 lingue, ne traduce 31 da e verso l'inglese e distingue fino a 8 parlanti in 13 lingue.
- L'architettura conta 30 miliardi di parametri totali ma ne attiva circa 4 miliardi per token grazie a un sistema ibrido Mamba-Transformer MoE.
- Il modello può essere eseguito su una singola GPU NVIDIA, da DGX Spark fino a Blackwell e Jetson AGX Thor.
- Supporta registrazioni audio fino a un'ora ma non elabora flussi in streaming live.
- È disponibile gratuitamente con pesi aperti su Hugging Face e ModelScope insieme al dataset Granary v2.
NVIDIA ha annunciato il 28 ottobre 2026 la disponibilità di Nemotron 3.5 Transcribe, un nuovo modello vocale open-weight progettato per trasformare registrazioni audio in testo strutturato, affiancato dalla versione 2 della pipeline di dati Granary. Il modello, distribuito su Hugging Face e ModelScope, unisce in una sola architettura compiti che in genere richiedono componenti separati, tra cui trascrizione, attribuzione dei parlanti, traduzione e risposte a domande sul contenuto dell'audio.
Cosa è stato annunciato
Nemotron 3.5 Transcribe supporta la trascrizione in 40 lingue, la traduzione da e verso l'inglese per 31 idiomi e l'identificazione degli interlocutori (diarizzazione) in 13 lingue, distinguendo fino a otto parlanti all'interno di file audio con una durata massima di un'ora. Il sistema genera inoltre marcatori temporali a livello di singola parola (word-level timestamp).
Dal punto di vista architetturale, il modello conta complessivamente 30 miliardi di parametri, ma adotta una struttura a miscela di esperti (mixture-of-experts, MoE) ibrida tra Mamba e Transformer: per ogni token vengono attivati solo circa 4 miliardi di parametri. Questo meccanismo consente di eseguire il modello su una singola GPU NVIDIA, dalle schede DGX Spark fino alle soluzioni per data center Blackwell, oltre al controller robotico Jetson AGX Thor. L'integrazione di segnali acustici tramite Sortformer permette di etichettare chi sta parlando direttamente durante la generazione del testo, gestendo anche le sovrapposizioni vocali.
Sul piano dei benchmark, Nemotron 3.5 Transcribe si colloca al primo posto tra i modelli open-weight nella Open ASR Leaderboard di Hugging Face per la lingua inglese, con un tasso di errore di parole (WER, Word Error Rate, ossia la percentuale di termini trascritti in modo errato) del 5,33%. Nello speech-to-text benchmark di Artificial Analysis registra un indice AA-WER del 2,8% a pari merito in vetta alla categoria open-weight, scendendo a 1,8% sul test AA-AgentTalk. Risultati analoghi sono stati registrati nella diarizzazione, dove guida la classifica di VoiceArena e il benchmark multilingue di David AI su 21 lingue.
Insieme al modello, NVIDIA ha reso disponibile Granary v2, un dataset vocale multilingue accompagnato da strumenti di selezione dati e ricette di perfezionamento (fine-tuning) basate su NeMo Speech. Nei test in ambito sanitario, l'adattamento del modello ha permesso di ridurre il WER del 45,8% rispetto all'uso del solo prompt.
Cosa cambia per chi usa l'AI
Il modello è guidabile tramite istruzioni in linguaggio naturale (prompting). Chi sviluppa applicazioni può richiedere direttamente nel comando di formattare il testo, estrarre risposte sui contenuti di una riunione o inserire dizionari specifici prima dell'inferenza, ad esempio includendo termini medici rari per evitare errori ortografici.
La natura open-weight offre il vantaggio di elaborare registrazioni audio sensibili in locale o su server proprietari, garantendo il rispetto della privacy aziendale. Tuttavia, le fonti evidenziano un limite operativo fondamentale: Nemotron 3.5 Transcribe è progettato esclusivamente per file audio preregistrati e non supporta flussi audio in tempo reale (live streaming). Inoltre, la funzione di risposta alle domande sul parlato (audio Q&A) è stata addestrata unicamente in inglese.
Disponibilità e prezzi
Nemotron 3.5 Transcribe e il dataset Granary v2 sono disponibili gratuitamente come risorse open-weight sulle piattaforme Hugging Face e ModelScope.
Domande frequenti
Nemotron 3.5 Transcribe funziona in tempo reale?
No, il modello supporta registrazioni audio fino a un'ora di durata ma non è in grado di elaborare flussi vocali live in streaming.
Quali risorse hardware servono per eseguirlo?
Il modello può girare su una singola GPU NVIDIA compatibile, inclusi i sistemi laptop DGX Spark, l'hardware robotico Jetson AGX Thor e i chip per data center Blackwell.
È possibile personalizzare il vocabolario del modello?
Sì, è possibile specificare parole inconsuete o gergo tecnico direttamente nel prompt prima dell'elaborazione oppure effettuare un fine-tuning con NeMo Speech e il dataset Granary v2.
Fonti
Come è nato questo articolo Una prima bozza è stata preparata con l'aiuto dell'intelligenza artificiale a partire dalle fonti qui sopra; il testo è stato poi verificato e approvato dalla redazione. Come lavoriamo · Segnala un errore