Definizione
Un modello voce-a-voce è un unico modello che prende audio parlato in ingresso e produce audio parlato in uscita, senza un passaggio separato di riconoscimento vocale né di sintesi vocale. Lo stesso modello sente chi chiama, decide cosa dire e parla.
Leggi la guida completa: Modelli speech-to-speech o agenti vocali a cascata
Come funziona un modello voce-a-voce
Il modello legge audio, sotto forma di token che rappresentano brevi porzioni di suono, e scrive audio allo stesso modo. Poiché non converte in testo a metà strada, può in linea di principio usare informazioni che una trascrizione scarta, come il tono, l’esitazione e l’enfasi, e può rispondere con una dizione corrispondente. Alcuni modelli scrivono anche testo accanto all’audio, il che dà agli sviluppatori una trascrizione da registrare, ma quel testo è un sottoprodotto del ragionamento sull’audio e non il suo input.
Molti modelli voce-a-voce commerciali sono offerti tramite API in tempo reale che tengono aperta una connessione audio, così l’audio scorre in ingresso e in uscita insieme. Lo sviluppatore imposta le istruzioni e, di solito, sceglie tra un insieme fisso di voci.
Un agente vocale a cascata fa lo stesso lavoro in tre fasi, con testo tra l’una e l’altra. Il compromesso riguarda il controllo. Con una cascata si vede il testo a ogni passaggio, si sceglie ogni modello separatamente e si filtra la risposta prima che venga pronunciata. Con un solo modello voce-a-voce si hanno meno parti mobili e un primo prototipo più facile, ma non si può usare un proprio LLM, ed è più difficile verificare esattamente su cosa abbia ragionato.
La velocità non è decisa dal solo progetto. La guida collegata sotto riferisce che misurazioni indipendenti su chiamate reali di questi modelli collocano la pausa mediana intorno a un secondo o più, nello stesso intervallo che può raggiungere una cascata ben costruita.
Perché conta per gli agenti vocali
Gli agenti che chiamano strumenti, rileggono numeri o seguono uno script approvato da un team di conformità devono poter essere ispezionati e vincolati. Questo favorisce i progetti in cui il testo è visibile. Gli agenti che soprattutto conversano possono dare più valore alla dizione naturale.
Si legga il confronto completo prima di scegliere.