GuidesDéveloppement IA
Tuto : afficher une réponse IA en streaming
1. Côté serveur
Un point d’entrée qui renvoie un flux de texte (exemple au format des routes Astro, transposable à Express ou Next.js) :
import Anthropic from '@anthropic-ai/sdk';
const client = new Anthropic();
export async function POST({ request }: { request: Request }) {
const { question } = await request.json();
const stream = client.messages.stream({
model: process.env.CLAUDE_MODEL!,
max_tokens: 1024,
messages: [{ role: 'user', content: question }],
});
const enc = new TextEncoder();
const body = new ReadableStream({
start(ctrl) {
stream.on('text', (t) => ctrl.enqueue(enc.encode(t)));
stream.on('end', () => ctrl.close());
stream.on('error', (e) => ctrl.error(e));
},
});
return new Response(body, { headers: { 'Content-Type': 'text/plain; charset=utf-8' } });
}
2. Côté navigateur
const res = await fetch('/api/ask', { method: 'POST', body: JSON.stringify({ question }) });
const reader = res.body!.getReader();
const dec = new TextDecoder();
for (;;) {
const { done, value } = await reader.read();
if (done) break;
output.textContent += dec.decode(value, { stream: true });
}
3. Les détails qui comptent
- Un indicateurUn curseur qui clignote tant que le flux est ouvert.
- Le bouton StopUn AbortController, relié au flux côté serveur.
- Le MarkdownRendu à la fin, ou par blocs, pour éviter les sauts.
Avant : appeler l’API Claude depuis Node.js.
Questions fréquentes
- Le streaming coûte-t-il plus cher ?
- Non. Le nombre de tokens est le même ; seule la façon de les recevoir change.
- Faut-il des WebSockets ?
- Non. Une réponse HTTP qui se lit par morceaux suffit, ou des Server-Sent Events.
- Comment arrêter une réponse en cours ?
- Côté navigateur, un AbortController coupe la requête ; côté serveur, on interrompt le flux du SDK quand la connexion se ferme.