GuíasElecciones técnicas de IA

Un modelo de IA local para datos sensibles

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Tus instalacionesAPI externaDatos sensibles: el modelo va a ellos, ellos no salen
El modelo corre en un servidor de la empresa, junto a los datos, sin llamar a una API externa.

Local o API

Dos formas de usar un modelo
Modelo local
  • Ningún dato sale
  • Hardware y mantenimiento que prever
  • Menos capaz en tareas difíciles
API de un gran modelo
  • Mejor calidad, nada que instalar
  • Datos enviados al proveedor
  • Pago por uso

Las herramientas

Herramienta Para
Ollama Probar un modelo con un solo comando
llama.cpp Ejecutar un modelo cuantizado con pocos recursos
vLLM Servir un modelo a muchos usuarios, en GPU
ollama run mistral
# luego una API local en http://localhost:11434

La puesta en marcha

  1. 1Definir la tareaClasificar, resumir, extraer.
  2. 2ProbarDos o tres modelos con tus casos.
  3. 3DimensionarMemoria, número de usuarios.
  4. 4ProtegerAcceso de red cerrado, registros, actualizaciones.

El enfoque mixto

El modelo local trata los datos sensibles (extracción, seudonimización) y después un gran modelo recibe solo lo que puede salir.

La elección: modelo open source o API. La técnica: la cuantización. La alternativa: seudonimizar antes de enviar.

Preguntas frecuentes

¿Qué hardware hace falta?
Depende del tamaño del modelo. Un modelo pequeño cuantizado funciona en un equipo con una buena tarjeta gráfica; uno más grande necesita una o varias GPU de servidor. La memoria de la tarjeta es la primera limitación.
¿La calidad es comparable?
No en tareas complejas. En tareas concretas (clasificación, extracción, resumen breve), un buen modelo open source bien guiado suele dar resultados suficientes. Pruébalo con tus casos.
¿Qué modelos elegir?
Hay familias de pesos abiertos como Llama, Mistral, Qwen o Gemma en varios tamaños. Revisa la licencia antes de un uso comercial.

Para leer después

Todas las guías