GuíasDesarrollo de IA

Tutorial: mostrar una respuesta de IA en streaming

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Sin streaming: se espera todoCon: llegan las palabras
Sin streaming, el usuario espera la respuesta entera. Con él, las palabras aparecen a medida que llegan.

1. En el servidor

Un endpoint que devuelve un flujo de texto (ejemplo con el formato de rutas de Astro, fácil de llevar a Express o Next.js):

import Anthropic from '@anthropic-ai/sdk';
const client = new Anthropic();

export async function POST({ request }: { request: Request }) {
  const { question } = await request.json();
  const stream = client.messages.stream({
    model: process.env.CLAUDE_MODEL!,
    max_tokens: 1024,
    messages: [{ role: 'user', content: question }],
  });
  const enc = new TextEncoder();
  const body = new ReadableStream({
    start(ctrl) {
      stream.on('text', (t) => ctrl.enqueue(enc.encode(t)));
      stream.on('end', () => ctrl.close());
      stream.on('error', (e) => ctrl.error(e));
    },
  });
  return new Response(body, { headers: { 'Content-Type': 'text/plain; charset=utf-8' } });
}

2. En el navegador

const res = await fetch('/api/ask', { method: 'POST', body: JSON.stringify({ question }) });
const reader = res.body!.getReader();
const dec = new TextDecoder();
for (;;) {
  const { done, value } = await reader.read();
  if (done) break;
  output.textContent += dec.decode(value, { stream: true });
}

3. Los detalles que cuentan

  • Un indicadorUn cursor que parpadea mientras el flujo está abierto.
  • El botón PararUn AbortController, conectado al flujo del servidor.
  • El MarkdownRenderizado al final, o por bloques, para evitar saltos.

Antes: llamar a la API de Claude desde Node.js.

Preguntas frecuentes

¿Cuesta más el streaming?
No. El número de tokens es el mismo; solo cambia la forma de recibirlos.
¿Hacen falta WebSockets?
No. Basta una respuesta HTTP que se lee por partes, o Server-Sent Events.
¿Cómo detener una respuesta en curso?
En el navegador, un AbortController corta la petición; en el servidor, se interrumpe el flujo del SDK cuando se cierra la conexión.

Para leer después

Todas las guías