Si quieres trasladar una tarea de la nube a un ordenador local, empieza por el trabajo concreto. Resumir reuniones, buscar en un archivo y escribir código necesitan pruebas diferentes. Compara el modelo, las herramientas y las condiciones de uso de ambos sistemas.
¿Qué pregunta te estás haciendo?
Escribir código, resumir documentos y clasificar mensajes son tareas distintas con criterios de éxito distintos. Una media única puede ocultar que un sistema resume bien, pero falla al escribir código. Separa los resultados antes de decidir qué tareas trasladar.
Antes de medir, escribe la decisión que tienes que tomar. Por ejemplo: «¿Puedo trasladar la transcripción de reuniones a un equipo local manteniendo la calidad y los tiempos que necesito?». Esa pregunta permite definir qué debe cumplir la prueba.
El protocolo mínimo
- Casos representativos. Un conjunto de ejemplos reales que cubra los casos importantes, sin un mínimo universal.
- Criterios explícitos. Qué cuenta como respuesta correcta y quién lo decide.
- Conjunto de reserva. Mantén parte de los casos fuera del ajuste, o corres el riesgo de adaptar el sistema solo a los ejemplos usados durante el desarrollo ( Hugging Face ).
- El sistema completo. Versión del modelo, fecha, contexto, herramientas activas, hardware en el caso local.
- Errores anotados. No solo cuántas respuestas son correctas, sino cómo fallan: un error recuperable y uno silencioso tienen consecuencias distintas.
Qué registrar, y por qué
| Dimensión | Qué medir | Error típico |
|---|---|---|
| Calidad | casos superados por categoría | una media única sobre tareas distintas |
| Latencia | tiempo hasta el primer token (TTFT) y hasta completar la respuesta | medir solo el total |
| Coste | energía, hardware, suscripción o consumo de API y tiempo de revisión | contar solo el precio mensual |
| Datos | dónde acaban prompts y salidas | suponer que «local» basta |
| Fiabilidad | comportamiento con entradas largas o ambiguas | probar solo entradas ideales |
Datos y fiabilidad deben valorarse junto con la calidad: pueden cambiar la decisión aunque las respuestas parezcan buenas.
Interpretar los resultados por tarea
Una conclusión útil concreta la tarea y las condiciones de la prueba. Por ejemplo: «En resúmenes de documentos técnicos el sistema local alcanza la calidad que necesito en la mayoría de los casos, en tiempos compatibles con el flujo de trabajo». Para sostenerla hay que mostrar los casos y los resultados; «lo local es mejor» no permite saber en qué tareas ni bajo qué condiciones.
Incluye también los casos fallidos y las incertidumbres. Si no aparecen fallos, indica también alcance, número de casos y condiciones. Una prueba limitada no demuestra fiabilidad general.
Los ejemplos de conclusión muestran cómo presentar una comparación; no son resultados de una prueba nuestra. Para preparar la tuya, puedes consultar el presupuesto de memoria y el recorrido de los datos en aplicaciones locales .
Si el sistema ejecuta acciones, la calidad de la respuesta es solo parte de la comparación: evalúa también decisiones, permisos y errores de los agentes .
Fuentes
- Evaluation ↗ — Hugging Face · consultado 2026-11-01


