Definição
Um modelo de linguagem de grande porte (LLM) é uma rede neural treinada com enormes quantidades de texto para prever o próximo token de uma sequência. Repetindo esse passo, escreve texto, segue instruções dadas em um prompt e pode decidir chamar ferramentas.
Como um modelo de linguagem de grande porte funciona
Um LLM lê o texto como tokens, que são pedaços de palavras, e produz uma probabilidade para cada possível próximo token. Escolhe um, acrescenta e repete até a resposta estar completa. É por isso que as primeiras palavras de uma resposta podem ser ouvidas bem antes de as últimas existirem, e por que o tempo de geração cresce com o tamanho da resposta.
A maioria dos modelos atuais usa o desenho Transformer introduzido por Vaswani e colegas em 2017, que se apoia na atenção para relacionar cada token com os demais do seu contexto. A janela de contexto é o limite de quanto texto o modelo pode considerar de uma vez, abrangendo instruções, histórico da conversa e quaisquer documentos ou resultados de ferramentas acrescentados.
Brown e colegas mostraram em 2020 que um modelo com 175 bilhões de parâmetros conseguia executar tarefas novas a partir de instruções e alguns exemplos escritos no prompt, sem novo treinamento. Essa é a base para construir agentes escrevendo instruções em vez de treinar um modelo para cada tarefa.
Dois outros limites importam. O modelo não tem acesso embutido a fatos posteriores ao seu treinamento, então as aplicações acrescentam informação pelo prompt ou por ferramentas. E ele pode produzir texto fluente, mas falso, uma falha chamada de alucinação.
Por que importa para agentes de voz
Em um agente de voz em cascata, o LLM é a etapa que decide o que dizer, e geralmente a mais lenta e menos previsível. O número que conta é o tempo até o primeiro token, porque a fala pode começar assim que a primeira frase estiver pronta se a saída for transmitida em fluxo. O tempo total de geração importa menos que isso.
A voz impõe exigências extras. As respostas devem ser curtas e escritas para o ouvido, sem listas nem markdown. O modelo precisa seguir o seu prompt de sistema sob a pressão de quem muda de assunto no meio da frase. E qualquer afirmação dele sobre um preço, uma política ou uma conta é dita em voz alta com confiança, então ancorá-la em ferramentas e registros importa mais do que numa janela de chat em que o leitor pode conferir.
Um modelo de fala para fala incorpora essa etapa ao modelo de áudio, de modo que o LLM e a voz deixam de ser escolhas separadas.