GuíasDesarrollo de IA

Dividir los documentos para un RAG (chunking)

Por el equipo de Banzai LabsActualizado el 3 min de lectura

El documento§1§2§3§4Pasajes que se solapanTítulo: …Sección: …Cada pasaje conserva su contexto
El documento se divide en pasajes que se solapan, cada uno con su título y su sección.

Las cuatro reglas

  1. 1Cortar en los títulosUna sección, un pasaje, mientras siga siendo corta.
  2. 2Limitar el tamañoUna sección demasiado larga se vuelve a dividir por párrafos.
  3. 3SolaparUnas frases comunes entre dos pasajes vecinos.
  4. 4Conservar el contextoTítulo del documento y de la sección añadidos a cada pasaje.

Según el tipo de documento

Documento Método
Páginas web, Markdown División por títulos
PDF de texto Extracción y luego división por títulos o párrafos
PDF escaneado Reconocimiento de texto primero
Tablas Enteras, en Markdown
FAQ Una pregunta y su respuesta por pasaje

Los metadatos que conservar

  • La fuente y la página, para citar.
  • El idioma y la fecha, para filtrar.
  • Los permisos de acceso, para no mostrar nunca un pasaje a quien no debe verlo.

Probar la división

Toma veinte preguntas reales y mira los cinco pasajes que salen para cada una. Si la respuesta correcta no está, cambia la división antes de tocar el modelo.

Después: un RAG con pgvector y los embeddings.

Preguntas frecuentes

¿Qué tamaño de pasaje elegir?
Unos cientos de tokens es un punto de partida habitual. Demasiado corto, el pasaje pierde el sentido; demasiado largo, diluye la búsqueda. Prueba con tus preguntas reales.
¿Por qué solapar los pasajes?
Para que una idea cortada en dos aparezca entera en al menos un pasaje. Un solapamiento del 10 al 20 % suele bastar.
¿Cómo tratar las tablas?
Mantenerlas enteras, convertidas a Markdown, con la frase que las introduce. Cortar una tabla por la mitad la vuelve ilegible.

Para leer después

Todas las guías