GuidesDéveloppement IA

Tuto : afficher une réponse IA en streaming

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

Sans streaming : on attend toutAvec : les mots arrivent
Sans streaming, l’utilisateur attend la réponse entière. Avec, les mots s’affichent au fil de l’eau.

1. Côté serveur

Un point d’entrée qui renvoie un flux de texte (exemple au format des routes Astro, transposable à Express ou Next.js) :

import Anthropic from '@anthropic-ai/sdk';
const client = new Anthropic();

export async function POST({ request }: { request: Request }) {
  const { question } = await request.json();
  const stream = client.messages.stream({
    model: process.env.CLAUDE_MODEL!,
    max_tokens: 1024,
    messages: [{ role: 'user', content: question }],
  });
  const enc = new TextEncoder();
  const body = new ReadableStream({
    start(ctrl) {
      stream.on('text', (t) => ctrl.enqueue(enc.encode(t)));
      stream.on('end', () => ctrl.close());
      stream.on('error', (e) => ctrl.error(e));
    },
  });
  return new Response(body, { headers: { 'Content-Type': 'text/plain; charset=utf-8' } });
}

2. Côté navigateur

const res = await fetch('/api/ask', { method: 'POST', body: JSON.stringify({ question }) });
const reader = res.body!.getReader();
const dec = new TextDecoder();
for (;;) {
  const { done, value } = await reader.read();
  if (done) break;
  output.textContent += dec.decode(value, { stream: true });
}

3. Les détails qui comptent

  • Un indicateurUn curseur qui clignote tant que le flux est ouvert.
  • Le bouton StopUn AbortController, relié au flux côté serveur.
  • Le MarkdownRendu à la fin, ou par blocs, pour éviter les sauts.

Avant : appeler l’API Claude depuis Node.js.

Questions fréquentes

Le streaming coûte-t-il plus cher ?
Non. Le nombre de tokens est le même ; seule la façon de les recevoir change.
Faut-il des WebSockets ?
Non. Une réponse HTTP qui se lit par morceaux suffit, ou des Server-Sent Events.
Comment arrêter une réponse en cours ?
Côté navigateur, un AbortController coupe la requête ; côté serveur, on interrompt le flux du SDK quand la connexion se ferme.

À lire ensuite

Tous les guides