En este artículo
Un cambio al agente, con y sin evals
Hoy · se prueba a ojo
- 1CambioAlguien ajusta el agente
- 23 pruebas a mano"Se ve bien"
- 3Sale a clientesSin umbral
- 4ReclamoEl cliente encuentra el error
Con evals · ejemplo 5 minutos por corrida
- 1CambioAlguien ajusta el agente
- 250 casos solosRespuesta vs. lo correcto
- 3UmbralMenos de 95 %: no sale
- 4Fallo nuevoSe suma como caso
Qué se prueba: 3 niveles
| Nivel | Qué revisa | Ejemplo en un banco | Señal de alarma |
|---|---|---|---|
| 1 · Herramientas | Cada consulta a tus sistemas por separado | La consulta de saldo con un número de cuenta mal escrito | Devuelve datos de otra cuenta |
| 2 · Pasos | El orden en que el agente usa sus herramientas | Pide confirmación antes de bloquear una tarjeta | Ejecuta sin confirmar |
| 3 · Respuesta | Lo que lee el cliente, contra una rúbrica escrita | Requisitos de un crédito pyme según la política vigente | Cita una política vencida |
1 · Herramientas
- Qué revisa
- Cada consulta a tus sistemas por separado
- Ejemplo en un banco
- La consulta de saldo con un número de cuenta mal escrito
- Señal de alarma
- Devuelve datos de otra cuenta
2 · Pasos
- Qué revisa
- El orden en que el agente usa sus herramientas
- Ejemplo en un banco
- Pide confirmación antes de bloquear una tarjeta
- Señal de alarma
- Ejecuta sin confirmar
3 · Respuesta
- Qué revisa
- Lo que lee el cliente, contra una rúbrica escrita
- Ejemplo en un banco
- Requisitos de un crédito pyme según la política vigente
- Señal de alarma
- Cita una política vencida
Los 4 números para decidir si sale
| Métrica | Qué mide | Umbral para salir (ejemplo) |
|---|---|---|
| Tasa de acierto | % de casos resueltos según la rúbrica | 95 % o más |
| Derivación a humano | % de casos que el agente pasa a una persona | Menos de 20 %, y siempre en casos sensibles |
| Costo por caso resuelto | Modelo + infraestructura ÷ casos resueltos | Menor que el costo de la persona |
| Tiempo de respuesta | Segundos hasta la respuesta final | Menos de 10 s en chat |
Tasa de acierto
- Qué mide
- % de casos resueltos según la rúbrica
- Umbral para salir (ejemplo)
- 95 % o más
Derivación a humano
- Qué mide
- % de casos que el agente pasa a una persona
- Umbral para salir (ejemplo)
- Menos de 20 %, y siempre en casos sensibles
Costo por caso resuelto
- Qué mide
- Modelo + infraestructura ÷ casos resueltos
- Umbral para salir (ejemplo)
- Menor que el costo de la persona
Tiempo de respuesta
- Qué mide
- Segundos hasta la respuesta final
- Umbral para salir (ejemplo)
- Menos de 10 s en chat
Cuánto cuesta y cuándo se paga
¿Cuánto cuestan las evals y cuándo se pagan?
1 · Lo que hoy cuestan los errores
2 · Lo que cuestan las evals
- Modelo (pruebas): gpt-6-luna0,38 USD · 0,9 %
- Equipo40,09 USD · 99 %
- Herramienta0,00 USD · 0,0 %
Se paga en 9,6 meses. Empieza con 50 casos reales.
estimadoPrecios del modelo: OpenAI API pricing, verificados el 11/10/2026 (USD por millón de unidades de texto o tokens, entrada / salida): gpt-6-luna 0,10 / 0,50; gpt-6.1-sol 2,00 / 10,00. Cada caso = una respuesta del agente (4.000 de entrada + 500 de salida) + una corrección contra la rúbrica escrita (2.000 + 200).
Costo hora: Paraguay, mínimo de Gs. 12.683 por hora (MTESS, Res. 670/2026) a Gs. 5.694,47 por USD (BCP, 9/10/2026) = USD 2,23. Ecuador: SBU USD 482 ÷ 173,33 h (Ministerio del Trabajo) = USD 2,78. El multiplicador es un ejemplo para un perfil calificado.
Ahorro neto = horas que no se pierden en errores × costo hora − costo total. Meses = puesta en marcha ÷ ahorro neto. No incluye clientes perdidos ni sanciones: el valor real suele ser mayor. % de error, % frenado, minutos, herramienta y puesta en marcha son ejemplos.
Datos de clientes en las pruebas
Usa casos reales sin datos personales: reemplaza nombres, cédulas y cuentas antes de guardarlos. En Paraguay lo exige la Ley 7593/2025 (vigente desde el 27/11/2027, art. 57); en Ecuador, la LOPDP. En bancos, guarda el informe de cada corrida: es la evidencia para la SIB del BCP o la Superintendencia de Bancos. Casos por país: Paraguay · Ecuador.
Tus primeros 50 casos de prueba
Ejemplo de puesta en marcha de evals
- Semana 1CasosHistorial real, errores pasados y casos que se deben rechazar.KPI: 50 casos con respuesta aprobada
- Semana 2Rúbrica y umbralQué cuenta como respuesta correcta y cuándo no sale.KPI: umbral firmado por el área
- Semana 3Corrida automáticaEl agente no sale si baja del umbral.KPI: informe en cada cambio
- Semana 4Ciclo con producciónCada reclamo nuevo se suma al examen.KPI: fallos reales convertidos en casos
¿Tu agente ya habla con clientes sin examen? En el diagnóstico gratuito revisamos tus casos y te decimos por dónde empezar.