Costruire un agente vocale che ascolti, ragioni, interagisca con i sistemi aziendali e completi attività in più passi resta difficile: servono quattro capacità che devono funzionare insieme e in tempo reale, e cioè ascoltare con accuratezza tra lingue, accenti e sovrapposizioni, ragionare sul significato di ciò che l’utente intende, parlare in modo naturale e infine agire sui sistemi collegati. Mistral presenta oggi Voxtral 3, una famiglia di modelli per trascrizione e sintesi della voce accompagnata da un SDK per agenti vocali che mette ascolto, ragionamento, chiamata di strumenti e sintesi in un unico flusso streaming, destinato a contact center, help desk, assistenti virtuali e copiloti operativi.
I modelli: trascrizione e sintesi
Voxtral Small Transcribe 3 porta la trascrizione multilingue a 50 lingue, di cui 24 lingue ufficiali dell’Unione Europea e numerose lingue a risorse limitate. Il modello distingue chi ha parlato quando, usa il context biasing per migliorare il riconoscimento di termini tecnici e di nomi propri senza bisogno di addestramento, e riconosce la fine del turno di parlo per rispondere senza ritardi. Sul benchmark FLEURS multi-lingua Mistral dichiara un tasso di errore medio del 4,1 per cento, inferiore a quello dichiarato per Whisper, Scribe v2 e Gemini 3.5 Transcribe, e un vantaggio netto anche nella diarizzazione. La variante Mini ha 4 miliardi di parametri e un prezzo dichiarato di 0,0035 dollari al minuto. Sul lato della sintesi, Voxtral Mini TTS 3 introduce voci che modulano emozione, ritmo ed enfasi in funzione del contesto conversazionale, con oltre 35 lingue e 50 varianti dialettali.
L’SDK per agenti vocali e l’adattamento della voce
Lo SDK per agenti vocali combina ascolto, ragionamento, chiamata di strumenti e sintesi in un’esperienza continua: gli agenti possono recuperare informazioni, interagire con i sistemi aziendali e portare a termine attività in più passi mentre è ancora in corso la conversazione, al telefono o via web. Un caso d’uso mostrato dal vendor riguarda la presa in carico di una chiamata: il sistema raccoglie i dati del paziente, interroga un sistema esterno, prenota un appuntamento e restituisce un riepilogo, con la possibilità di tradurre o rispondere nella lingua del chiamante. Per gli usi professionali in cui la semplice clonazione non basta, la funzione Pro Voice adatta lo stile di un relatore, con la sua caratteristica distintiva, la gamma emotiva e il modo di parlare, a partire da trenta minuti di audio, anche tra lingue diverse.
Deployment e sovranità dei dati
Come per gli altri modelli Mistral, anche Voxtral 3 è pensato per un deployment sovrano: è disponibile oggi tramite l’API ospitata nell’Unione Europea oppure per l’installazione sulla propria infrastruttura, mantenendo dentro il perimetro aziendale l’elaborazione dell’audio e il controllo sulla conservazione delle conversazioni. Per chi progetta contact center o assistenti vocali, i nodi da valutare restano quelli di sempre: qualità della trascrizione sulle lingue effettivamente parlate dai clienti, costo per minuto, latenza percepita e, soprattutto, dove finiscono i dati vocali e per quanto tempo restano memorizzati. La voce diventa un canale di interazione completo, e con essa una superficie da proteggere come qualsiasi altro accesso applicativo.
Fonte: Mistral AI
URL sorgente: https://mistral.ai/news/voxtral-3/