Observabilidad de agentes de IA: cómo saber qué hace tu IA en producción
Observabilidad de agentes de IA: cómo ver qué deciden, qué herramientas usan y cuánto cuestan tus agentes en producción, con trazas, métricas y alertas.
La observabilidad permite seguir las acciones de los agentes de IA y supervisar su rendimiento, uso de herramientas y costos en producción. Imagen generada con inteligencia artificial mediante OpenAI.
Hasta hace poco, la inteligencia artificial en las empresas se limitaba a un chatbot que respondía preguntas. Hoy los agentes de IA van más allá: consultan bases de datos, llaman APIs, crean tickets, redactan correos y encadenan decenas de pasos para cumplir una tarea. Y lo hacen solos. Por eso la observabilidad de agentes de IA se volvió una necesidad.
Ahí está el problema. Un agente que decide por su cuenta también puede equivocarse por su cuenta: entrar en un bucle, llamar diez veces la misma API, inventar un dato o gastar en una tarde el presupuesto del mes. Según el State of Observability 2026 de Splunk, el 83 % de los equipos de operaciones e ingeniería está preocupado por las consecuencias no previstas de los agentes de IA.
La respuesta no es dejar de usarlos, sino hacer con ellos lo mismo que con cualquier sistema crítico: observarlos.
Qué es la observabilidad de agentes de IA
La observabilidad de agentes de IA es la capacidad de entender, desde afuera, qué decidió un agente, por qué lo decidió, qué herramientas usó, cuánto tardó y cuánto costó. Se apoya en las tres señales de siempre, con información nueva:
- Trazas: cada tarea del agente se registra como una traza con todos sus pasos: la pregunta del usuario, las llamadas al modelo, las herramientas invocadas y la respuesta final. Es el mismo principio del APM, aplicado a decisiones.
- Métricas: latencia por paso, tokens consumidos, costo por tarea, tasa de error de las herramientas, número de pasos por tarea.
- Logs y eventos: los prompts, las respuestas y los motivos de cada decisión, con los datos sensibles protegidos.
Si ya trabajas con logs centralizados y correlación de eventos, tienes la mitad del camino recorrido.
Por qué un agente es más difícil de monitorear que una aplicación
Una aplicación tradicional sigue un camino predecible: si el código no cambia, la misma entrada produce la misma salida. Un agente no:
- No es determinista. La misma pregunta puede producir planes distintos.
- Encadena pasos. Un error en el paso 3 aparece como una mala respuesta en el paso 12.
- Usa herramientas externas. Si una API responde lento o con datos raros, el agente puede «compensar» de formas inesperadas.
- Cuesta por uso. Cada llamada al modelo consume tokens. Un bucle no rompe nada, pero sí la factura.
- Puede fallar sin error. Un agente que responde con seguridad algo falso devuelve un HTTP 200. Para el monitoreo clásico, todo está bien.
Por eso no alcanza con revisar si el servicio está arriba. Hay que medir la calidad y el costo de lo que hace.
Las métricas que sí importan
Como en cualquier sistema, no todas las métricas importan. Para agentes de IA, estas son las básicas:
| Métrica | Qué te dice |
| Tasa de éxito por tarea | Qué porcentaje de tareas termina bien (validado por reglas, por el usuario o por otro modelo evaluador). |
| Pasos por tarea | Si sube de repente, el agente puede estar dando vueltas. |
| Latencia de punta a punta y por paso | Dónde se va el tiempo: en el modelo, en una herramienta o en la base de datos. |
| Tokens y costo por tarea | Cuánto cuesta cada resultado, y qué usuarios o flujos son los más caros. |
| Errores de herramientas | APIs caídas, timeouts, permisos denegados. |
| Escalamientos a humanos | Cuántas veces el agente no pudo resolver solo. |
| Señales de calidad | Respuestas marcadas como incorrectas, sin fuente o fuera de política. |
Con estas métricas puedes definir SLO para tus agentes. Por ejemplo: «el 95 % de las tareas se resuelve en menos de 20 segundos y por menos de 0,05 dólares».
OpenTelemetry: el estándar también llega a la IA
La buena noticia es que no hace falta inventar nada. OpenTelemetry, el estándar abierto de observabilidad, tiene convenciones semánticas para IA generativa. Definen cómo registrar en una traza el modelo usado, los tokens de entrada y salida, la duración y las llamadas a herramientas. Varias de esas convenciones siguen en fase experimental, así que conviene revisar su estado antes de adoptarlas.
Eso significa que puedes instrumentar tus agentes una sola vez y enviar los datos a la plataforma que prefieras (Elastic, Grafana, Splunk u otra) sin quedar amarrado a un proveedor. Los grandes del sector ya se movieron: Grafana lanzó en julio de 2026 su Agent Observability, y Cisco anunció la compra de Galileo para llevar evaluación y controles de IA a Splunk.
Cómo empezar en cinco pasos
- Inventaria tus agentes. Qué hacen, qué herramientas tocan, qué datos ven y quién responde por ellos.
- Instrumenta con OpenTelemetry. Una traza por tarea y un span por cada llamada al modelo y a cada herramienta.
- Protege los datos sensibles. Los prompts pueden contener datos personales. Enmascáralos antes de guardarlos; en Colombia, la Ley 1581 y los lineamientos de la SIC sobre IA aplican igual.
- Define alertas útiles, no ruido. Pasos por tarea fuera de lo normal, costo por hora por encima del umbral, tasa de error de una herramienta en aumento. Te recomendamos nuestro artículo sobre alertas inteligentes.
- Cierra el ciclo. Revisa cada semana las tareas fallidas y las más costosas. Ajusta prompts, herramientas y límites, y mide otra vez.
Errores comunes
- Medir solo la disponibilidad. El agente puede estar arriba y respondiendo mal.
- Guardar todo sin filtro. Los prompts completos con datos de clientes son un riesgo de seguridad y de cumplimiento.
- No ponerle límites. Todo agente necesita un máximo de pasos, de tiempo y de costo por tarea.
- Separar la IA del resto. El agente depende de tus APIs y bases de datos; si no ves todo junto, no encontrarás la causa raíz.
Conclusión
Los agentes de IA ya están en producción, y van a estar en muchas más. La diferencia entre las empresas que los aprovechan y las que se llevan sorpresas está en lo mismo de siempre: ver lo que pasa antes de que se convierta en un problema. La observabilidad no es nueva; lo nuevo es aplicarla a sistemas que deciden por sí mismos.
En Insoftar implementamos observabilidad de punta a punta con Elastic y OpenTelemetry, ahora también para tus aplicaciones con IA. Hablemos sobre cómo darle visibilidad y control a tus agentes.
