Definição
A chamada de ferramentas é quando um LLM, em vez de responder com palavras, devolve uma requisição estruturada para executar uma função nomeada, como consultar um pedido. A aplicação a executa e devolve o resultado para que o modelo possa continuar a resposta.
Como a chamada de ferramentas funciona
O LLM nunca executa nada por conta própria. O desenvolvedor descreve cada ferramenta ao modelo com um nome, uma descrição em linguagem simples e um esquema de seus parâmetros. Durante a conversa, o modelo pode responder com uma requisição de ferramenta que nomeia uma ferramenta e preenche os parâmetros, por exemplo get_order_status com um número de pedido. A aplicação confere a requisição, executa a função e devolve o resultado como uma nova mensagem. O modelo então lê esse resultado e escreve a resposta falada.
Na documentação da Cartesia, a descrição de cada ferramenta é o que orienta o modelo sobre quando usá-la. Os valores dos parâmetros podem vir de três lugares: do próprio modelo, de uma constante fixa ou de uma variável dinâmica, como o telefone de quem liga. O Managed Agents tem ferramentas de sistema embutidas como end_call, send_dtmf, transfer_to_number e voicemail_detection, e ferramentas personalizadas que chamam o seu próprio endpoint de webhook.
Três consequências decorrem do desenho. O modelo escolhe as ferramentas pelas descrições, então descrições vagas causam chamadas erradas ou ausentes. O modelo fornece os parâmetros, então os valores que ele inventar precisam ser validados pelo código receptor. E a chamada é uma viagem de ida e volta, então a resposta do modelo fica em pausa até o resultado voltar.
Por que importa para agentes de voz
As chamadas de ferramentas são o que permite a um agente realizar trabalho, como marcar uma consulta ou transferir uma chamada, em vez de apenas falar. É também onde a espera se alonga. O tempo de resposta da ferramenta cai dentro da latência de voz, e uma consulta de três segundos são três segundos de silêncio em uma linha telefônica.
Por isso os agentes de voz tratam as chamadas de ferramentas de forma diferente do chat. Falam antes do trabalho lento, com uma frase curta como “Deixe-me conferir”. As ferramentas de sistema da Cartesia têm uma configuração pre_tool_speech para isso, com os valores auto, force e off. Também precisam de um plano para a falha. Se uma ferramenta expira ou devolve um erro, o agente deve dizer isso e oferecer um próximo passo, e nunca inventar a resposta. Veja alucinação.
As ferramentas também trazem risco. Uma ferramenta que cancela uma reserva ou move dinheiro deve ficar atrás de verificações que não dependam do julgamento do modelo, como uma releitura e uma confirmação de quem liga, e permissões no sistema receptor. As palavras de quem liga podem influenciar qual ferramenta o modelo chama, então a ferramenta, e não o prompt, deve impor o que é permitido.
Exemplo
Uma chamada ilustrativa:
- Quem liga: “Onde está meu pedido? É o 5521.”
- Agente: “Deixe-me procurar.” (o modelo solicita
get_order_statuscom o número de pedido 5521) - Resultado da ferramenta: enviado na terça, chegando na sexta
- Agente: “Saiu na terça e deve chegar na sexta.”