Definición
Un modelo de lenguaje de gran tamaño (LLM) es una red neuronal entrenada con enormes cantidades de texto para predecir el siguiente token de una secuencia. Repitiendo ese paso escribe texto, sigue instrucciones dadas en un prompt y puede decidir llamar a herramientas.
Cómo funciona un modelo de lenguaje de gran tamaño
Un LLM lee el texto como tokens, que son trozos de palabras, y da como salida una probabilidad para cada posible token siguiente. Elige uno, lo añade y repite hasta completar la respuesta. Por eso las primeras palabras de una respuesta pueden oírse mucho antes de que existan las últimas, y por eso el tiempo de generación crece con la longitud de la respuesta.
La mayoría de los modelos actuales usan el diseño Transformer introducido por Vaswani y colaboradores en 2017, que se apoya en la atención para relacionar cada token con los demás de su contexto. La ventana de contexto es el límite de cuánto texto puede considerar el modelo a la vez, e incluye las instrucciones, el historial de la conversación y los documentos o resultados de herramientas que se le añadan.
Brown y colaboradores mostraron en 2020 que un modelo con 175.000 millones de parámetros podía realizar tareas nuevas a partir de instrucciones y unos pocos ejemplos escritos en el prompt, sin reentrenamiento. Esa es la base para construir agentes escribiendo instrucciones en lugar de entrenar un modelo para cada tarea.
Importan otros dos límites. El modelo no tiene acceso incorporado a hechos posteriores a su entrenamiento, así que las aplicaciones añaden información mediante el prompt o mediante herramientas. Y puede producir texto fluido pero falso, un fallo llamado alucinación.
Por qué importa para los agentes de voz
En un agente de voz en cascada, el LLM es la etapa que decide qué decir, y normalmente la más lenta y menos predecible. La cifra que cuenta es el tiempo hasta el primer token, porque la voz puede empezar en cuanto está lista la primera frase si la salida se emite en flujo. El tiempo total de generación importa menos que eso.
La voz impone exigencias adicionales. Las respuestas deben ser breves y escritas para el oído, sin listas ni markdown. El modelo debe seguir su prompt del sistema bajo la presión de quienes cambian de tema a mitad de frase. Y cualquier afirmación suya sobre un precio, una política o una cuenta se dice en voz alta con aplomo, por lo que apoyarla en herramientas y registros importa más que en una ventana de chat donde quien lee puede comprobar.
Un modelo de voz a voz integra esta etapa en el modelo de audio, de modo que el LLM y la voz dejan de ser decisiones separadas.