LiveKit impulsa la próxima generación de agentes de IA con Sonic

LiveKit es una plataforma líder en tiempo real que permite integrar vídeo, voz y datos en aplicaciones. Nació en 2021 como proyecto abierto con WebRTC y es pionera en IA de voz y vídeo en tiempo real. Miles de desarrolladores y equipos dependen de su infraestructura, desde profesionales individuales hasta empresas como OpenAI que amplían las posibilidades de la voz en directo.

Cuando la mayoría veía las videollamadas como una herramienta para reuniones, sus fundadores imaginaban voz y vídeo en tiempo real como parte esencial de cualquier aplicación. Esa visión culminó en enero de 2024 con LiveKit Agents, un framework para crear agentes de IA programables y multimodales.

Prueba una conversación en directo con un agente de LiveKit impulsado por Cartesia:

El reto

LiveKit quería agentes con razonamiento de nivel humano, lo que exigía resolver retos técnicos:

1. Baja latencia. Razonar en tiempo real requiere procesamiento ágil y tiempos de respuesta humanos. Al coordinar vídeo y texto además de audio, debe transportar datos entre servidor y cliente con la máxima rapidez.
2. Voces naturales. Sus agentes sustituyen a personas en llamadas, por lo que el habla debe ser muy realista.
3. Varios idiomas. Los clientes están repartidos por el mundo y los agentes deben funcionar con fluidez en múltiples idiomas.
4. Escalabilidad. Usos críticos como agentes para emergencias 911 requieren muchos usuarios simultáneos y garantías de disponibilidad y rendimiento en picos.
5. Límites de contexto. Los agentes de larga duración deben mantener conversaciones coherentes y contexto mientras procesan audio, vídeo y texto en directo. Los transformers requerían recargar contexto continuamente y tenían límites de secuencia que impedían la interacción continua.

La solución

LiveKit eligió Cartesia porque Sonic, basado en modelos de espacio de estados, encajaba con su visión de la próxima generación de agentes.

• Arquitectura avanzada. Los SSM permiten conservar estado y procesar flujos de forma nativa para mantener contexto durante horas o días sin degradar el rendimiento.
• Latencia ultrabaja. Cartesia ofrecía el modelo de menor latencia del mercado, con menos de 100 ms hasta el primer audio, para un rendimiento superior de extremo a extremo.
• Generación natural. Los modelos producen habla humana que tiene en cuenta el contexto y se mantiene consistente en conversaciones largas.
• Varios idiomas. Cartesia ofrece 14 idiomas con la misma latencia, calidad y precisión líderes que en inglés.
• Escalabilidad empresarial. La infraestructura admite aplicaciones críticas de gran volumen.

Los resultados

Cartesia está disponible como integración de LiveKit Agents. La colaboración ha permitido desplegar agentes en usos exigentes:

• Emergencias. Agentes para atención de emergencias 911 que requieren fiabilidad perfecta e interacción natural.
• Videojuegos. Personajes no jugadores de IA para experiencias inmersivas.
• Vehículos autónomos. Procesamiento de telemetría y decisiones en tiempo real.
• Soluciones empresariales. Integración de voz e imagen con sistemas de IA existentes.

Para desarrolladores

Usar LiveKit con Cartesia combina la calidad de la red WebRTC global de LiveKit y la velocidad del modelo de texto a voz Sonic.

Los desarrolladores pueden ejecutar workers de Agents en sus portátiles y desplegarlos después en sus servidores de producción. Los agentes se conectan a la API de Cartesia y usan la red de LiveKit para transmitir audio a los usuarios.

Así obtienen un modelo TTS avanzado y mantienen la lógica empresarial, como RAG o consultas de datos, en código que controlan. La prueba de concepto más sencilla tiene solo cincuenta líneas, sin contar espacios ni comentarios:

load_dotenv(dotenv_path=".env.local")
logger = logging.getLogger("voice-agent")


def prewarm(proc: JobProcess):
    proc.userdata["vad"] = silero.VAD.load()


async def entrypoint(ctx: JobContext):
    initial_chat_context = llm.ChatContext().append(
        role="system",
        text=(
            "You are a voice assistant created by LiveKit. Your interface with users will be voice. "
            "You should use short and concise responses, and avoid usage of unpronounceable punctuation. "
        ),
    )

    logger.info(f"connecting to room {ctx.room.name}")
    await ctx.connect(auto_subscribe=AutoSubscribe.AUDIO_ONLY)

    # Wait for the first participant to connect
    participant = await ctx.wait_for_participant()
    logger.info(f"starting voice assistant for participant {participant.identity}")

    # Set up the Agent
    agent = VoicePipelineAgent(
        vad=ctx.proc.userdata["vad"],
        stt=deepgram.STT(),
        llm=openai.LLM(model="gpt-4o-mini"),
        tts=cartesia.TTS(
            model="sonic",
            voice="794f9389-aac1-45b6-b726-9d9369183238",
        ),
        chat_ctx=initial_chat_context,
    )

    agent.start(ctx.room, participant)

    # Once connected, we start by hardcoding a greeting
    await agent.say(f"Hey {participant.identity}! How can I help you today?", allow_interruptions=True)


if __name__ == "__main__":
    cli.run_app(
        WorkerOptions(
            entrypoint_fnc=entrypoint,
            prewarm_fnc=prewarm,
        ),
    )