Modelos personalizados con vuestros datos · cuando RAG no basta
Diseñamos e implementamos fine-tuning de modelos LLM (Llama, Mistral, Claude, GPT) para casos empresariales donde RAG y prompt engineering no dan la calidad, la latencia o el coste que necesitas. Con datasets propios, evaluación rigurosa y despliegue en cloud europeo u on-premise.
Publicamos esta lista para calificar juntos si encajamos. Si no, os ahorramos tiempo.
Medimos rendimiento actual con modelo base + RAG + prompting. Si no llega, confirmamos que fine-tuning aporta. Analizamos calidad y tamaño del dataset disponible.
Limpieza, deduplicación, augmentation si aplica. Split train/val/test. Definición de rúbrica de evaluación con expertos de dominio. Baseline objetiva.
Fine-tuning en GPUs (nube o propias). Iteración con hiperparámetros y variantes de dataset. Evaluación ciega contra baseline. Detección de regresiones.
Despliegue en tu infra (on-prem con Ollama/vLLM, o cloud gestionado). Monitorización de calidad en producción, alertas de drift, plan de re-entrenamiento.
Casos inventados con métricas consistentes con nuestros rangos reales.
Modelo especializado en jurisprudencia tributaria española con formato propio del despacho. On-premise para cumplir secreto profesional. RAG previo llegaba a 82; con fine-tuning subimos a 94.
Sustitución de GPT-5 vía API por Mistral 7B fine-tuned con 8 000 solicitudes históricas etiquetadas. Rendimiento equivalente a 1/3 del coste por token, latencia sub-500ms.
Datasets de 3 500 fichas técnicas con campos etiquetados por ingenieros. Fine-tune Qwen 2.5 32B on-prem. Reduce revisión humana y acelera catalogación.
La respuesta corta: casi siempre RAG + prompt engineering + few-shot llegan a resultados suficientes con muchísimo menos coste y complejidad. Fine-tuning solo compensa cuando: (1) has agotado RAG + prompting y no llegas a la calidad requerida, (2) el volumen es tan alto que reducir coste por token con modelo más pequeño se paga en meses, (3) tienes dataset limpio de 500+ ejemplos que representan bien la tarea real.
Si estás en fase temprana de IA en tu empresa (piloto, primeros meses), 99 % de las veces la respuesta es "todavía no". Fine-tuning es una optimización, no un punto de partida.
Depende de la tarea y del modelo base. Rangos que vemos funcionar: 500-2 000 ejemplos para tareas de formato/estilo/tono con LoRA sobre modelos grandes (Llama 70B). 3 000-10 000 ejemplos para tareas donde el modelo necesita "aprender" nuevo conocimiento o esquemas complejos.
Más importante que el volumen es la calidad. 1 000 ejemplos limpios y bien etiquetados por expertos superan a 20 000 ejemplos ruidosos. Antes de aumentar dataset, aumenta calidad.
Si no tienes datos etiquetados, considera synthetic data: generar ejemplos con modelo grande y refinarlos con humano. Coste moderado y suele funcionar bien para bootstrap.
Ambos son posibles. Fine-tune de open-source (Llama, Mistral, Qwen) tiene ventajas: control total, despliegue on-premise, portabilidad, sin límites de uso. Coste operativo predecible.
Fine-tune de Claude vía Bedrock o GPT vía OpenAI API tiene ventajas: infraestructura gestionada, calidad base superior en muchas tareas, actualización a nuevas versiones más simple. Contrapartida: coste operativo dependiente del proveedor, menos control, mayor lock-in.
Nuestra recomendación por caso: para tareas donde la calidad frontier es crítica y el volumen no es masivo, fine-tune del modelo comercial. Para volumen alto o requisitos on-premise/regulatorios, fine-tune de open-source.
Sí, cada modelo base es distinto y el fine-tune está atado al modelo específico. Cuando sale un base nuevo mejor, hay que decidir: seguir con el fine-tune actual (barato pero puede quedarse detrás), rehacer el fine-tune sobre el nuevo base (coste moderado, mejor calidad), o volver a prompting + RAG sobre el nuevo base (a menudo el base nuevo sin fine-tune ya iguala al viejo con fine-tune).
Recomendación estratégica: fine-tune es una optimización específica del momento. Cada 12-18 meses hay que reevaluar si sigue teniendo sentido o si el modelo base nuevo ya lo justifica reemplazar. Documenta bien el dataset y la evaluación — te ahorrará meses cuando toque re-entrenar.
Diagnóstico gratuito de 30 min con estimación de arquitectura, tiempos y presupuesto para tu caso concreto.