La détection d’activité vocale (VAD) identifie la parole dans un flux audio. Pour un agent, elle aide à répondre à « Quelqu’un parle-t-il ? » La question difficile est « A-t-il terminé ? »
Un appelant dit « Mon adresse est… », puis cherche le numéro de l’immeuble. Un détecteur peut signaler correctement le silence tandis que l’agent commence à parler à tort. Personne ne demandait une interruption particulièrement assurée.
Pour construire un agent conversationnel, utilisez la VAD là où des limites de parole sont nécessaires, puis choisissez une politique explicite de tours de parole. Voici comment les composants s’articulent, quand les détecteurs autonomes aident et quoi tester avant les appels.
Comment fonctionne la VAD
Un détecteur traite de courtes fenêtres audio et estime si elles contiennent de la parole. Selon l’implémentation, il produit une décision binaire, une probabilité ou des horodatages de parole assemblés à partir des décisions.
Un simple seuil d’énergie considère un son assez fort comme de la parole. C’est peu coûteux, mais une porte qui claque est aussi forte. Des détecteurs plus élaborés utilisent des caractéristiques acoustiques ou des modèles neuronaux pour distinguer les sons. La VAD moderne ne se limite pas au volume.
L’application ajoute généralement une logique autour du détecteur : plusieurs trames vocales avant de commencer, un bref tampon antérieur au déclenchement et une attente pendant un court silence avant de fermer le segment. Cette logique influence le résultat : sans tampon, une détection correcte peut arriver trop tard pour garder le début du mot.
La VAD ne transcrit pas, n’identifie pas un locuteur précis et ne supprime pas le bruit. Ce sont d’autres tâches. Elle peut reconnaître correctement une voix de télévision tout en déclenchant une mauvaise action dans un agent censé écouter uniquement l’appelant.
VAD, fin de parole et détection sémantique des tours
Ces termes décrivent des décisions différentes :
| Composant | Question | Limite |
|---|---|---|
| VAD | Cet audio contient-il de la parole ? | Une pause renseigne peu sur l’achèvement d’une idée |
| Fin fondée sur le silence | L’arrêt dure-t-il assez pour fermer le tour ? | Un délai fixe traite pareil réflexion et phrase terminée |
| Détection sémantique | Audio et contexte suggèrent-ils une fin ? | Prédictions encore précoces ou tardives ; récupération nécessaire |
| Gestion des interruptions | Faut-il arrêter la réponse quand la parole commence ? | Il faut aussi arrêter ou jeter les tampons audio et la génération en cours |
La détection fondée sur le silence est souvent un bon départ. Un délai court répond vite mais risque de couper la réflexion ; un délai long laisse du temps mais retarde les réponses aux phrases terminées.
La détection sémantique utilise davantage de contexte. « Mon e-mail est… » et « C’est tout, merci » peuvent demander des attentes différentes après une pause similaire. Cela reste une estimation, pas une garantie que l’appelant ne changera plus d’avis.
L’annonce d’Ink 2 explique notre intégration de la fin sémantique dans la reconnaissance. L’objectif est de laisser finir les idées et de répondre à temps. Optimiser uniquement la précision des trames ne prouve pas cette expérience.
Quand utiliser une VAD autonome
Un détecteur autonome aide à repérer la parole avant de décider quoi en faire : marquer des passages enregistrés, animer un indicateur de parole ou fournir des événements de début à votre chaîne. Une détection locale garde cette étape sur l’appareil, sans rendre le reste d’un agent connecté privé ou hors ligne.
Deux implémentations à évaluer sont WebRTC VAD via py-webrtcvad et Silero VAD.
| Implémentation | Entrée et exécution | Vérifications |
|---|---|---|
| WebRTC VAD | Le wrapper Python accepte le PCM mono 16 bits à 8, 16, 32 ou 48 kHz, en trames de 10, 20 ou 30 ms, avec quatre modes d’agressivité | Parole faible manquée par un filtrage strict et validité des trames de capture |
| Silero VAD | Détecteur neuronal PyTorch ou ONNX ; le projet documente 8 et 16 kHz | Coût du modèle et du moteur sur l’appareil, contraintes de fragments et faux déclenchements |
Ces formats sont propres aux implémentations. Un en-tête WAV n’est pas un échantillon PCM et un paquet MP3 n’est pas une trame directement utilisable par WebRTC VAD. Décodez et convertissez si nécessaire. Consultez la documentation actuelle sans supposer que la fréquence par défaut du microphone du navigateur convient.
Aucun des deux n’est un gestionnaire complet de conversation. Il faut encore déterminer les fins, gérer les interruptions et récupérer quand l’appelant continue.
Exécuter Silero VAD en Python
La façon la plus rapide d’essayer la VAD sur votre propre audio est Silero VAD. Il est sous licence MIT, le modèle pèse environ 2 Mo et tourne sur CPU. Installez-le avec pip :
pip install silero-vad
Cet exemple renvoie les segments de parole d’un fichier WAV mono 16 kHz. Il décode le fichier avec la bibliothèque standard, donc rien d’autre que silero-vad et PyTorch n’est nécessaire :
import wave
import numpy as np
import torch
from silero_vad import get_speech_timestamps, load_silero_vad
def read_wav(path):
"""Read a 16-bit mono PCM WAV into a float32 tensor."""
with wave.open(path, "rb") as w:
assert w.getnchannels() == 1, "expected mono audio"
assert w.getsampwidth() == 2, "expected 16-bit PCM"
assert w.getframerate() == 16000, "expected 16 kHz audio"
pcm = w.readframes(w.getnframes())
samples = np.frombuffer(pcm, dtype=np.int16).astype(np.float32) / 32768.0
return torch.from_numpy(samples)
model = load_silero_vad() # downloads the ~2 MB model on first run
wav = read_wav("call.wav")
speech_timestamps = get_speech_timestamps(
wav,
model,
threshold=0.5, # speech probability cutoff (default)
min_silence_duration_ms=100, # silence needed to split two segments
speech_pad_ms=30, # padding kept around each segment
return_seconds=True, # seconds instead of sample indices
)
for segment in speech_timestamps:
print(f"speech from {segment['start']:.2f}s to {segment['end']:.2f}s")
Deux détails vous épargneront une séance de débogage. D’abord, le helper read_audio du paquet exige l’extra torchaudio ou torchcodec (pip install silero-vad[audio]), et les versions récentes de torchaudio exigent à leur tour torchcodec. Décoder le WAV soi-même, comme ci-dessus, évite cette chaîne. Ensuite, le modèle attend un audio mono à 16 kHz ou 8 kHz. Un fichier à 44,1 kHz ne lèvera pas d’erreur ; il renverra des horodatages dépourvus de sens. Rééchantillonnez d’abord.
Trois paramètres font l’essentiel du travail :
threshold(0,5 par défaut) est le seuil de probabilité de parole. Baissez-le quand la parole faible est rognée ; remontez-le quand le bruit du clavier compte comme de la parole.min_silence_duration_ms(100 par défaut) fixe la durée de pause nécessaire pour séparer deux régions de parole en segments distincts.speech_pad_ms(30 par défaut) conserve un peu de contexte autour de chaque segment pour que la première et la dernière syllabe survivent.
Pour le streaming, fournissez au modèle des chunks fixes, 512 échantillons à 16 kHz ou 256 à 8 kHz, et il renvoie une probabilité de parole par chunk. Le VADIterator du dépôt encapsule cette boucle avec des déclencheurs de début et de fin.
Vous disposez maintenant de limites de parole fiables, ce qui diffère des limites de tour. « La parole s’est arrêtée » n’est toujours pas « l’appelant a terminé » ; cette décision relève de votre politique de détection de fin, comme l’expliquait la section précédente. Une fois la parole localisée, l’étape suivante consiste généralement à la transcrire. Speech-to-text en Python envoie l’audio à Ink en streaming, qui gère les événements de tour pour vous.
Utiliser la détection intégrée d’Ink
Pour réunir transcription continue et limites des tours, l’API Realtime Speech-to-Text (Auto) de Cartesia inclut les deux, sans VAD supplémentaire pour ces limites.
Le cycle d’événements distingue fin possible et fin confirmée :
| Événement | Traitement à prévoir |
|---|---|
turn.start | L’appelant commence. Appliquez la politique d’interruption à la réponse active. |
turn.update | Actualisez la transcription affichée ou stockée pour ce tour. |
turn.eager_end | Le tour semble complet. Une réponse spéculative peut commencer à être générée. |
turn.resume | L’appelant continue. Annulez ou jetez le travail issu de la fin provisoire. |
turn.end | Le détecteur confirme la fin. Utilisez la transcription complète pour poursuivre. |
Une fin anticipée après « Je dois annuler » peut être suivie de « le deuxième rendez-vous, pas le premier ». Préparez une réponse pour réduire la latence si utile, mais attendez la confirmation avant lecture. Gardez les actions importantes derrière les règles de validation et de confirmation. Une prédiction précoce n’est pas une autorisation utilisateur.
Deux détails sont faciles à manquer. Les événements de transcription contiennent le texte cumulé du tour : remplacez le texte actuel, car concaténer les mises à jour répète les mots. L’API attend aussi un audio continu, silences compris. Ne supprimez pas les fragments silencieux avec une VAD en amont : une absence d’audio signifie attente d’entrée, pas fin de parole.
La documentation des tours couvre seuils, annulation et vidage des événements en tampon à la fermeture. Commencez par les valeurs par défaut et modifiez un réglage à la fois à partir d’échecs conversationnels enregistrés.
Tester la conversation entière
Définissez l’expérience avant les seuils. Un réceptionniste qui recueille une adresse doit laisser le temps de la chercher. Une réponse oui/non peut demander moins d’attente. Un délai de silence global ne représente pas tous les besoins.
Utilisez des enregistrements autorisés et le microphone ou la connexion réellement prévus. Écoutez des échanges complets :
| Situation | Échec à rechercher |
|---|---|
| Première syllabe faible après silence | Début du mot perdu dans l’enregistrement ou la transcription |
| Pause au milieu d’une adresse | Réponse avant la fin de l’appelant |
| Réponse courte et complète | Attente alors que le tour est manifestement fini |
| « Finalement, plutôt jeudi » pendant la réponse | Audio en tampon continuant sur la correction |
| Parole de fond, clavier ou écho | Arrêt ou réponse déclenchés par le mauvais son |
| Accents, débits et hésitations variés | Réglage adapté à l’auteur du test mais coupant les autres |
Suivez fins précoces et interruptions manquées avec le délai de réponse. Séparez la fermeture du tour du temps dans le LLM, les outils, la génération et la lecture. Raccourcir un délai VAD ne corrige pas une recherche de calendrier lente.
En cas d’interruption, examinez toute la sortie. Annuler le texte ne vide pas forcément l’audio déjà chez le client. Une personne qui dit « stop » se soucie du moment où le son s’arrête, pas de la tâche serveur annulée.
Essayez la démonstration Ink en faisant volontairement une pause dans une phrase. Exécutez ensuite l’exemple Realtime STT dans vos conditions audio. Le bon test est de savoir si l’agent laisse finir vos utilisateurs et répond quand ils sont prêts.