GuíasDesarrollo de IA
Tutorial: un RAG con PostgreSQL y pgvector
1. La tabla
CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE pasajes (
id bigserial PRIMARY KEY,
fuente text NOT NULL, -- documento de origen
lang text NOT NULL, -- para filtrar
contenido text NOT NULL,
embedding vector(1024) -- la dimensión de tu modelo
);
CREATE INDEX ON pasajes USING hnsw (embedding vector_cosine_ops);
2. Rellenar
Para cada pasaje (ver dividir los documentos): calcular el embedding con tu modelo e insertar el texto, su fuente y el vector.
3. Buscar
SELECT id, fuente, contenido
FROM pasajes
WHERE lang = $2
ORDER BY embedding <=> $1 -- distancia coseno
LIMIT 5;
$1 es el embedding de la pregunta, calculado con el mismo modelo.
4. Responder
- 1Los pasajesUnidos a la pregunta, marcados con su fuente.
- 2La instrucciónResponder solo a partir de estos pasajes, y citarlos.
- 3La comprobaciónUna respuesta sin cita se señala.
El principio completo: RAG, la IA con tus documentos. La elección de la base: la base de datos vectorial.
Preguntas frecuentes
- ¿Qué dimensión para la columna vector?
- La del modelo de embeddings elegido, indicada en su documentación. Debe ser la misma para todos los vectores de la columna.
- ¿Hasta qué volumen aguanta pgvector?
- De cientos de miles a unos pocos millones de pasajes en un servidor correcto, con un índice HNSW. Más allá, mide antes de cambiar de herramienta.
- ¿Se puede combinar con una búsqueda por palabras clave?
- Sí, PostgreSQL también tiene búsqueda de texto completo. Se pueden fusionar las dos clasificaciones.