Definizione
Una knowledge base è una raccolta di documenti, come FAQ, policy e pagine di prodotto, in cui un agente vocale può cercare mentre risponde a chi chiama. Dà all'LLM fatti a cui attingere che non erano nel suo addestramento né nelle sue istruzioni.
Come funziona una knowledge base
Un LLM sa solo ciò su cui è stato addestrato più ciò che c’è nelle sue istruzioni. La sua politica sui resi, i prezzi di questo mese e i passaggi per riavviare un router non sono in nessuno dei due. Una knowledge base conserva quel materiale perché l’agente possa consultarlo.
Il flusso abituale ha due parti.
- Preparazione. I documenti vengono divisi in brani e ogni brano viene indicizzato per poterlo ritrovare. Molti sistemi indicizzano per significato, usando embedding numerici, il che permette a una domanda di corrispondere a un brano che usa parole diverse.
- Al momento della risposta. La domanda di chi chiama, o una sua versione riscritta, serve a cercare nell’indice. I brani che corrispondono meglio vengono aggiunti all’input dell’LLM, che risponde a partire da essi. Questo schema è descritto in generazione aumentata dal recupero.
Nei Managed Agents di Cartesia, il contenuto della knowledge base è organizzato in cartelle e le cartelle sono collegate a un agente.
Una knowledge base serve per i fatti che cambiano o che sono troppo lunghi per metterli nelle istruzioni. Le regole brevi che valgono per ogni chiamata vanno nel prompt di sistema. I dati in tempo reale di un cliente, come lo stato di un ordine, si recuperano meglio con uno strumento dal sistema di riferimento, perché un archivio di documenti è aggiornato solo quanto la sua ultima modifica.
Perché conta per gli agenti vocali
Una knowledge base riduce le risposte inventate, ma solo quando funziona. Nelle chiamate emergono tre problemi che raramente emergono nel testo.
Primo, la ricerca viene eseguita mentre chi chiama aspetta, quindi si aggiunge alla latenza vocale. Secondo, la domanda arriva come trascrizione, e una parola sentita male può far mancare alla ricerca il brano giusto. Terzo, i brani scritti per essere letti sono lunghi e, letti ad alta voce, non finiscono più. Si riscriva la fonte in risposte brevi e pronunciabili, oppure si dica al modello di riassumere in una o due frasi.
La qualità del contenuto decide il risultato. Documenti vecchi, contraddittori o duplicati producono risposte sbagliate dette con sicurezza. Si assegni un responsabile, si datino le pagine e si rimuova ciò che è obsoleto. Si decida cosa dice l’agente quando non trova nulla di pertinente: «Non ho questa informazione, posso trasferirla» è meglio di tirare a indovinare. Si veda l’allucinazione.
Esempio
Uno scambio illustrativo:
- Chi chiama: «Posso restituire qualcosa dopo trenta giorni?»
- La ricerca dell’agente trova la pagina dei resi: «I resi sono accettati entro 45 giorni con lo scontrino.»
- Agente: «Sì. Accettiamo resi entro 45 giorni se ha lo scontrino.»