GuíasDesarrollo de IA
Dividir los documentos para un RAG (chunking)
Las cuatro reglas
- 1Cortar en los títulosUna sección, un pasaje, mientras siga siendo corta.
- 2Limitar el tamañoUna sección demasiado larga se vuelve a dividir por párrafos.
- 3SolaparUnas frases comunes entre dos pasajes vecinos.
- 4Conservar el contextoTítulo del documento y de la sección añadidos a cada pasaje.
Según el tipo de documento
| Documento | Método |
|---|---|
| Páginas web, Markdown | División por títulos |
| PDF de texto | Extracción y luego división por títulos o párrafos |
| PDF escaneado | Reconocimiento de texto primero |
| Tablas | Enteras, en Markdown |
| FAQ | Una pregunta y su respuesta por pasaje |
Los metadatos que conservar
- La fuente y la página, para citar.
- El idioma y la fecha, para filtrar.
- Los permisos de acceso, para no mostrar nunca un pasaje a quien no debe verlo.
Probar la división
Toma veinte preguntas reales y mira los cinco pasajes que salen para cada una. Si la respuesta correcta no está, cambia la división antes de tocar el modelo.
Después: un RAG con pgvector y los embeddings.
Preguntas frecuentes
- ¿Qué tamaño de pasaje elegir?
- Unos cientos de tokens es un punto de partida habitual. Demasiado corto, el pasaje pierde el sentido; demasiado largo, diluye la búsqueda. Prueba con tus preguntas reales.
- ¿Por qué solapar los pasajes?
- Para que una idea cortada en dos aparezca entera en al menos un pasaje. Un solapamiento del 10 al 20 % suele bastar.
- ¿Cómo tratar las tablas?
- Mantenerlas enteras, convertidas a Markdown, con la frase que las introduce. Cortar una tabla por la mitad la vuelve ilegible.