GuíasDesarrollo de IA

Tutorial: un RAG con PostgreSQL y pgvector

Por el equipo de Banzai LabsActualizado el 3 min de lectura

PostgreSQL + pgvectoridtextofuenteembeddingLos 5 pasajes más cercanos, en una consulta
Una tabla PostgreSQL con una columna de vectores; una consulta SQL devuelve los pasajes más cercanos.

1. La tabla

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE pasajes (
  id         bigserial PRIMARY KEY,
  fuente     text NOT NULL,      -- documento de origen
  lang       text NOT NULL,      -- para filtrar
  contenido  text NOT NULL,
  embedding  vector(1024)        -- la dimensión de tu modelo
);

CREATE INDEX ON pasajes USING hnsw (embedding vector_cosine_ops);

2. Rellenar

Para cada pasaje (ver dividir los documentos): calcular el embedding con tu modelo e insertar el texto, su fuente y el vector.

3. Buscar

SELECT id, fuente, contenido
FROM pasajes
WHERE lang = $2
ORDER BY embedding <=> $1   -- distancia coseno
LIMIT 5;

$1 es el embedding de la pregunta, calculado con el mismo modelo.

4. Responder

  1. 1Los pasajesUnidos a la pregunta, marcados con su fuente.
  2. 2La instrucciónResponder solo a partir de estos pasajes, y citarlos.
  3. 3La comprobaciónUna respuesta sin cita se señala.

El principio completo: RAG, la IA con tus documentos. La elección de la base: la base de datos vectorial.

Preguntas frecuentes

¿Qué dimensión para la columna vector?
La del modelo de embeddings elegido, indicada en su documentación. Debe ser la misma para todos los vectores de la columna.
¿Hasta qué volumen aguanta pgvector?
De cientos de miles a unos pocos millones de pasajes en un servidor correcto, con un índice HNSW. Más allá, mide antes de cambiar de herramienta.
¿Se puede combinar con una búsqueda por palabras clave?
Sí, PostgreSQL también tiene búsqueda de texto completo. Se pueden fusionar las dos clasificaciones.

Para leer después

Todas las guías