GuíasEntender la IA

LoRA: adaptar un modelo de IA sin reentrenarlo entero

Por el equipo de Banzai LabsActualizado el 3 min de lectura

Modelo congelado+A×BUnos millones de pesosSolo se entrenan dos pequeñas matrices añadidas al modelo
El modelo queda congelado; solo se entrenan dos pequeñas matrices añadidas a sus capas.

El principio

  1. 1Congelar el modeloSus miles de millones de pesos no se mueven.
  2. 2Añadir dos pequeñas matricesJunto a algunas capas.
  3. 3Entrenar solo esasUna fracción de los parámetros.

Completo o LoRA

Dos formas de adaptar un modelo
Reentrenamiento completo
  • Todos los pesos modificados
  • Mucha memoria y cálculo
  • Una copia completa del modelo por versión
LoRA
  • Solo una pequeña parte entrenada
  • Posible con una sola tarjeta gráfica
  • Un archivo pequeño por adaptación

Los buenos usos

Caso Por qué LoRA
Tono y estilo de una marca Cambia el comportamiento, no los conocimientos
Formato de salida muy preciso Menos instrucciones que repetir
Clasificación en tus categorías Una tarea estrecha y bien definida
Varios clientes, un modelo Una adaptación cargada por cliente

Antes de empezar

Hacen falta ejemplos de calidad, a menudo de unos cientos a unos miles, y un conjunto de prueba para comprobar la mejora. Un buen prompt con ejemplos suele bastar: pruébalo primero.

La elección: RAG o fine-tuning. Los modelos: modelo open source o API y la cuantización.

Preguntas frecuentes

¿LoRA enseña conocimientos nuevos al modelo?
Poco. Sirve sobre todo para adaptar un estilo, un formato o una tarea concreta. Para conocimientos que cambian (catálogo, documentación), el RAG sigue siendo más adecuado.
¿Qué es QLoRA?
LoRA aplicado a un modelo cargado en versión cuantizada (4 bits). Permite adaptar un modelo bastante grande con una sola tarjeta gráfica.
¿Se puede usar LoRA con cualquier modelo?
Con los modelos de pesos abiertos, sí. Con los que solo están disponibles por API, el proveedor decide si ofrece adaptación y de qué forma.

Para leer después

Todas las guías