Definizione
Un modello linguistico di grandi dimensioni (LLM) è una rete neurale addestrata su enormi quantità di testo per prevedere il token successivo in una sequenza. Ripetendo quel passo scrive testo, segue le istruzioni date in un prompt e può decidere di chiamare strumenti.
Come funziona un modello linguistico di grandi dimensioni
Un LLM legge il testo come token, che sono pezzi di parole, e restituisce una probabilità per ogni possibile token successivo. Ne sceglie uno, lo aggiunge e ripete fino al completamento della risposta. Per questo le prime parole di una risposta si possono sentire ben prima che esistano le ultime, e per questo il tempo di generazione cresce con la lunghezza della risposta.
La maggior parte dei modelli attuali usa l’architettura Transformer introdotta da Vaswani e colleghi nel 2017, che si basa sull’attenzione per mettere in relazione ogni token con gli altri nel suo contesto. La finestra di contesto è il limite di quanto testo il modello può considerare in una volta, e comprende istruzioni, cronologia della conversazione e qualsiasi documento o risultato di strumento aggiunto.
Brown e colleghi hanno mostrato nel 2020 che un modello con 175 miliardi di parametri poteva svolgere nuovi compiti a partire da istruzioni e pochi esempi scritti nel prompt, senza riaddestramento. È la base per costruire agenti scrivendo istruzioni invece di addestrare un modello per ogni compito.
Contano altri due limiti. Il modello non ha accesso integrato ai fatti successivi al suo addestramento, quindi le applicazioni aggiungono informazioni tramite il prompt o tramite strumenti. E può produrre testo fluido ma falso, un difetto chiamato allucinazione.
Perché conta per gli agenti vocali
In un agente vocale a cascata l’LLM è la fase che decide cosa dire, e di solito la più lenta e meno prevedibile. Il numero che conta è il tempo al primo token, perché il parlato può iniziare appena la prima frase è pronta se l’output viene trasmesso in flusso. Il tempo totale di generazione conta meno.
La voce pone ulteriori richieste. Le risposte devono essere brevi e scritte per l’orecchio, senza elenchi né markdown. Il modello deve seguire il proprio prompt di sistema sotto la pressione di chi cambia argomento a metà frase. E qualsiasi sua affermazione su un prezzo, una policy o un conto viene pronunciata ad alta voce con sicurezza, quindi fondarla su strumenti e registri conta più che in una finestra di chat dove chi legge può ricontrollare.
Un modello voce-a-voce integra questa fase nel modello audio, così l’LLM e la voce non sono più scelte separate.