GuidesComprendre l’IA

La latence d’un assistant vocal IA : d’où vient l’attente, comment la réduire

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

ParleEn sérieÉcouteRéflexionVoixEn fluxÉcouteRéflexionVoixréponse plus tôtChaque étape commence avant que la précédente ait fini
En flux, écoute, réflexion et voix se chevauchent et la réponse arrive plus tôt.

Les trois étapes

  1. 1Fin de paroleSavoir que la personne a fini.
  2. 2TranscriptionLa voix devient du texte.
  3. 3RéflexionLe modèle prépare la réponse.
  4. 4SynthèseLe texte devient une voix.

En série ou en flux

Deux façons d’enchaîner les étapes
En série
  • Chaque étape attend la précédente
  • Les délais s’additionnent
  • Plus simple à construire
En flux
  • La voix part dès la première phrase
  • Les étapes se chevauchent
  • La réponse commence bien plus tôt

Les leviers

Levier Effet
Réponse du modèle en streaming La synthèse démarre sur la première phrase
Consigne « phrases courtes » Le premier morceau arrive plus vite
Détection de fin de parole réglée Ni coupure, ni attente inutile
Modèle plus rapide pour la conversation Le plus gros réservé aux cas difficiles
Serveurs proches des utilisateurs Moins de temps réseau

La technique : la réponse IA en streaming. Le suivi : observer une application IA.

Questions fréquentes

Quel délai paraît naturel ?
Dans une conversation, on enchaîne en général en moins d’une seconde. Au-delà, l’interlocuteur a l’impression d’être mal compris. Mesurez le temps entre la fin de la phrase et le premier son de la réponse.
Les modèles voix à voix règlent-ils le problème ?
Ils suppriment des étapes et réduisent le délai. En échange, on contrôle moins finement chaque étape (texte transcrit, choix de la voix, journalisation).
Que faire pendant un appel d’outil long ?
Prononcer une courte phrase d’attente (« Je regarde votre commande ») pendant que l’outil travaille, plutôt qu’un silence.

À lire ensuite

Tous les guides