GuíasElecciones técnicas de IA
Un modelo de IA local para datos sensibles
Local o API
Modelo local
API de un gran modelo
Las herramientas
| Herramienta | Para |
|---|---|
| Ollama | Probar un modelo con un solo comando |
| llama.cpp | Ejecutar un modelo cuantizado con pocos recursos |
| vLLM | Servir un modelo a muchos usuarios, en GPU |
ollama run mistral
# luego una API local en http://localhost:11434
La puesta en marcha
- 1Definir la tareaClasificar, resumir, extraer.
- 2ProbarDos o tres modelos con tus casos.
- 3DimensionarMemoria, número de usuarios.
- 4ProtegerAcceso de red cerrado, registros, actualizaciones.
El enfoque mixto
El modelo local trata los datos sensibles (extracción, seudonimización) y después un gran modelo recibe solo lo que puede salir.
La elección: modelo open source o API. La técnica: la cuantización. La alternativa: seudonimizar antes de enviar.
Preguntas frecuentes
- ¿Qué hardware hace falta?
- Depende del tamaño del modelo. Un modelo pequeño cuantizado funciona en un equipo con una buena tarjeta gráfica; uno más grande necesita una o varias GPU de servidor. La memoria de la tarjeta es la primera limitación.
- ¿La calidad es comparable?
- No en tareas complejas. En tareas concretas (clasificación, extracción, resumen breve), un buen modelo open source bien guiado suele dar resultados suficientes. Pruébalo con tus casos.
- ¿Qué modelos elegir?
- Hay familias de pesos abiertos como Llama, Mistral, Qwen o Gemma en varios tamaños. Revisa la licencia antes de un uso comercial.