Observabilidad de agentes de IA: qué medir en producción

En este artículo

Un error en producción, con y sin observabilidad

Hoy · solo se mira el servidor

1. 1ReclamoUn cliente recibió un dato errado
2. 2Revisión"El servidor está bien"
3. 3Sin rastroNadie sabe qué respondió
4. 4Se repiteEl error sigue días

Con observabilidad · ejemplo de un banco

1. 1AlertaAcierto cae de 95 % a 88 %
2. 2ConversaciónPaso 3: consulta de saldo vacía
3. 3ArregloSe corrige la consulta
4. 4Caso nuevoPasa a las evals

Qué monitorear: tu puntaje

Marca lo que ya mides. Lo de mayor peso es lo que más tarda en descubrirse sin datos.

Qué monitorear en tu agente

0 % · 0 de 8 controles que aplicanLo primero que falta: conversación completa y tasa de acierto diariaCopiar lo que falta

Vuelas a ciegas: si el agente empieza a responder mal, te enteras por un reclamo.

Los de mayor riesgo pesan más en el puntaje.

Registro

• Cada conversación queda guardada completa: mensaje, pasos, herramientas y respuesta.
• Cada conversación indica qué versión del agente respondió.

Calidad

• Una muestra diaria se evalúa contra la rúbrica y da una tasa de acierto.
• Mides el % de conversaciones que pasan a una persona.

Costo

• Sabes cuánto cuesta cada conversación, no solo la factura del mes.

Velocidad

• Mides el tiempo de respuesta total y el de cada paso.

Herramientas

• Hay alerta si una consulta a tus sistemas falla o devuelve vacío.

Alertas

• Cada alerta tiene un responsable con nombre y un tiempo de respuesta.

Alertas que valen la pena

Señal	Qué mirar	Alerta (ejemplo)
Calidad	Tasa de acierto en la muestra diaria	Baja 5 puntos frente a la semana anterior
Costo	Costo por conversación	Sube más de 50 % de un día a otro
Velocidad	Tiempo del paso más lento	Se duplica
Herramientas	Consultas que fallan o vuelven vacías	Más de 2 % en una hora
Derivación	% que pasa a una persona	Sube 10 puntos

Calidad

Qué mirar

Tasa de acierto en la muestra diaria

Alerta (ejemplo)

Baja 5 puntos frente a la semana anterior

Costo

Qué mirar

Costo por conversación

Alerta (ejemplo)

Sube más de 50 % de un día a otro

Velocidad

Qué mirar

Tiempo del paso más lento

Alerta (ejemplo)

Se duplica

Herramientas

Qué mirar

Consultas que fallan o vuelven vacías

Alerta (ejemplo)

Más de 2 % en una hora

Derivación

Qué mirar

% que pasa a una persona

Alerta (ejemplo)

Sube 10 puntos

Por qué el costo va por conversación: cambiar de modelo multiplica el gasto sin que nadie lo note en el servidor.

Conversaciones guardadas son datos personales

Guardar conversaciones completas implica guardar datos de clientes: define acceso, finalidad y tiempo de retención según la Ley 7593/2025 (Paraguay) o la LOPDP (Ecuador). En bancos, el registro también sirve de evidencia ante la SIB del BCP o la Superintendencia de Bancos. Casos: Paraguay · Ecuador.

Ejemplo: observabilidad en las primeras 4 semanas

1. Semana 1Registro completoMensaje, pasos, herramientas, costo y versión.KPI: 100 % de conversaciones guardadas
2. Semana 2Línea baseDos semanas de datos antes de fijar alertas.KPI: acierto, costo y tiempo promedio
3. Semana 3AlertasCalidad, costo, velocidad, herramientas y derivación.KPI: 5 alertas con responsable
4. Semana 4Ciclo con evalsCada alerta resuelta suma un caso a las evals.KPI: fallos reales convertidos en casos

¿Tu agente ya está en producción y no sabes qué responde? En el diagnóstico gratuito revisamos qué medir primero.