GuíasEntender la IA

La búsqueda híbrida: palabras clave y significado, juntos

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Palabras clave12345Sentido12345FusiónRRFDos clasificaciones, una lista final más precisa
La clasificación por palabras clave y la clasificación por sentido se fusionan en una sola lista.

Lo que se pierde cada una

Dos búsquedas complementarias
Palabras clave (BM25)
  • Encuentra «REF-2041» y los nombres propios
  • No encuentra «sofá» cuando se busca «canapé»
  • Rápida y explicable
Significado (embeddings)
  • Encuentra sinónimos y reformulaciones
  • Imprecisa con códigos y referencias
  • Requiere un modelo de embeddings

La fusión por rangos

  1. 1Dos listasLos 50 primeros de cada búsqueda.
  2. 2Una puntuación por rango1 / (60 + rango) en cada lista.
  3. 3SumaUn documento bien clasificado en ambas pasa delante.
function rrf(listas: string[][], k = 60) {
  const puntos = new Map<string, number>();
  for (const lista of listas) lista.forEach((id, i) => puntos.set(id, (puntos.get(id) ?? 0) + 1 / (k + i + 1)));
  return [...puntos.entries()].sort((a, b) => b[1] - a[1]).map(([id]) => id);
}

Dónde usarla

Caso Por qué la híbrida
RAG sobre una documentación Preguntas libres y nombres exactos de funciones
Buscador de una tienda Intenciones y referencias de producto
Atención al cliente Formulaciones variadas y números de pedido

Los vectores: la base de datos vectorial. El paso siguiente: el reranking. Un ejemplo: la búsqueda semántica en una tienda online.

Preguntas frecuentes

¿Cómo se fusionan dos clasificaciones con puntuaciones distintas?
El método más extendido, la fusión por rangos recíprocos (RRF), ignora las puntuaciones y suma para cada documento 1 / (k + rango) en cada lista, con k a menudo fijado en 60.
¿Hace falta un motor especializado?
No. PostgreSQL hace las dos cosas con su búsqueda de texto completo y la extensión pgvector. Los motores de búsqueda dedicados también ofrecen búsqueda híbrida.
¿Cuándo no sirve la búsqueda híbrida?
Cuando las búsquedas son siempre códigos exactos (bastan las palabras clave) o siempre preguntas libres sobre un corpus pequeño (puede bastar el significado).

Para leer después

Todas las guías