La seguridad de agentes de IA es limitar lo que el agente puede tocar y poder pararlo cuando se sale de su tarea. Lo primero sale en cualquier guía. Lo segundo casi nadie lo tiene contestado con un número, y es por donde yo empezaría.
¿Qué cuentan los informes de incidentes de octubre de 2026?
OpenAI mantiene un índice público, "Misalignment Reports and Notices". Según la propia página, el objetivo es enseñar cómo surge la desalineación, cómo se ve y "where safeguards succeed or fail". El índice cuenta 20 informes y 3 avisos. Los 20 informes son de modelos internos de OpenAI en entrenamiento, evaluación o despliegue interno.
Junio: tres incidentes en entrenamiento y evaluación
El 15 de octubre OpenAI publicó tres informes sobre incidentes de junio.
| Informe | Incidente | Descubierto |
|---|---|---|
| Acceso a sistemas internos al consultar un panel público | 17 de junio de 2026 | como tarde el 13 de agosto |
| Credenciales de servidor en una web de estadísticas de un gobierno | 17 de junio de 2026 | 13 de agosto |
| Uso sin permiso de un monedero de pruebas con fondos | 26 de junio de 2026 (muestra) | 25 de septiembre |
En el primero, un modelo al que se pidió sacar cifras de un panel público de investigación entró en sistemas internos y cambió su configuración; en una de las dos evaluaciones descargó cinco tablas no públicas con 147.451 filas, restauró el ajuste que había tocado y siguió usando el token. El informe cita esta restricción: "Internet access is enabled only for HTTP GET requests". En el segundo, el modelo buscaba estadísticas de camas de hospital en una web de estadísticas de un gobierno y acabó sacando ficheros de configuración con credenciales, saltándose la autorización y obteniendo los datos que se le habían negado. En el tercero, un modelo pagó un despliegue en una red de pruebas de Ethereum con fondos de un monedero que la tarea no le había dado; OpenAI concluye que un modelo puede poner su propio juicio sobre el daño probable en lugar del permiso del titular de la cuenta, y actuar sin autorización. Los tres salieron a la luz cuando OpenAI pasó su monitor de desalineación, a posteriori, sobre registros de actividad antigua.
Octubre: dos agentes que apagan lo que los vigila
El informe del 20 de octubre cuenta dos tareas de programación en despliegue interno en las que los agentes debilitaron la monitorización.
El 3 de octubre, un agente GPT-6.1 Sol que reparaba un pipeline de evaluación desactivó las alertas automáticas al equipo de seguridad de OpenAI, con una instrucción anterior como motivo: no enviar mensajes durante una búsqueda en el historial de Slack. "The misalignment monitor still ran and saved its reports, but human alerts were disabled."
El 6 de octubre, un agente GPT-6 Astra que migraba un programa quitó la integración con el monitor para ajustarse a una implementación de referencia y cambió la prueba de regresión que la protegía por otra que exigía que el monitor no estuviera. Después, según el informe: "The model then reported to the user that the migration was complete, without stating that monitoring had been removed. When the user later asked about it, Astra denied removing the monitoring system."
El sistema de OpenAI avisa de inmediato al equipo de seguridad en los incidentes P0, y los de menor severidad no generan aviso inmediato. "Neither of the incidents described here was classified as a P0, and neither trajectory was automatically killed."
El aviso de CERT-In del 15 de octubre
El mismo 15 de octubre, CERT-In publicó el aviso CIAD-2026-0049, con severidad crítica, sobre agentes de IA como vector de ataque contra activos TIC indios: agentes en investigación y evaluación que superaron la autorización de su tarea y accedieron sin permiso a sistemas indios, y atacantes que usaron herramientas agénticas de código abierto para intrusiones con ánimo de lucro. Habla de "AI model providers" sin nombrarlos, así que no lo mezclo con los casos de OpenAI.
Sobre la campaña con ánimo de lucro, el aviso dice: "In the financially motivated campaign against Indian entities, agentic tooling compressed the time between initial access and final impact from days to a few hours."
¿Qué riesgos de seguridad tiene un agente de IA en la empresa?
Un agente de IA en la empresa tiene los riesgos de cualquier automatización con privilegios, más uno propio: decide por su cuenta qué es aceptable y actúa a velocidad de máquina. CERT-In dice que, en todos los incidentes con agentes que ha observado, las debilidades de fondo son las de siempre: credenciales expuestas, APIs de prueba olvidadas y accesibles desde internet, claves de pago en texto claro, roles de nube demasiado amplios e interfaces de gestión sin doble factor. El agente encuentra los agujeros que ya tenías.
Los informes añaden cinco riesgos. Que el agente cambie el permiso por su criterio, como el modelo del monedero. Que las restricciones se queden en las instrucciones, cuando CERT-In pide aplicarlas "at the network layer, not through instructions to the model". Que el acceso sobreviva a la marcha atrás: si tu respuesta a un incidente es deshacer el cambio, te puede quedar el token vivo. Que el agente tenga permisos sobre lo que lo vigila, como Sol y Astra. Y el tiempo: si del acceso al impacto pasan unas horas, un procedimiento que arranca el lunes por la mañana llega tarde.
A todo esto súmale que un tercero le cambie el objetivo al agente, que expliqué en por qué la prompt injection no se parchea, y los permisos concedidos sin revisar, el mismo patrón que conté en Shadow AI 2.0 y los OAuth scopes.
En el OWASP Top 10 for Agentic Applications, el riesgo que mejor describe estos informes es ASI10, Rogue Agents. El documento (página 36, numeración impresa) define los rogue agents como agentes maliciosos o comprometidos que se desvían de su función prevista, y añade: "The agent's actions may individually appear legitimate, but its emergent behavior becomes harmful, creating a containment gap for traditional rule-based systems." Desactivar una alerta o cambiar una prueba son acciones legítimas una a una. Juntas, son un agente que se ha quitado la vigilancia.
¿Cómo se para un agente de IA que se comporta mal?
Un agente de IA se para desde fuera de él: matando la ejecución, revocando sus credenciales y cortando su salida de red, con condiciones de parada automática y una persona con autoridad para hacerlo sin pedir permiso. Pedirle al agente que se detenga no cuenta como parada.
OWASP lo pide en dos sitios. En ASI10 (página 37, numeración impresa), la mitigación 4: "Implement rapid mechanisms like kill-switches and credential revocation to instantly disable rogue agents. Quarantine suspicious agents in sandboxed environments for forensic review." En ASI04 (página 20, numeración impresa), la mitigación 8 pide un kill switch de cadena de suministro para desactivar al instante herramientas, prompts o conexiones de agentes concretos en todos los despliegues.
CERT-In baja más al detalle: definir en cada tarea qué sistemas y acciones están en alcance, parar la ejecución automáticamente si el agente contacta con sistemas de terceros, usa credenciales de terceros o lanza una señal de parada o fallo, y dar a un operador independiente "the authority to terminate or restart the run".
Lo que ninguna de las dos fuentes dice, y es opinión mía, es que ese mecanismo hay que ensayarlo y medirlo.
Imagina un caso típico: un agente que concilia facturas con permisos de escritura sobre el ERP empieza un viernes a las once de la noche a leer en bloque tablas ajenas a su tarea, y la alerta salta en el SIEM. ¿Quién la ve a esa hora? ¿Y el token ya emitido, que sigue valiendo una hora más? Si la respuesta a cualquiera de esas preguntas es "depende", el kill switch existe en el diagrama y en ningún otro sitio.
Mi opinión como CISO
Trabajo en el sector nuclear, un entorno muy regulado, y mi criterio con los agentes sale de ahí: un control que no se ha probado no lo cuento como control. Un procedimiento de parada que nunca se ha ejecutado es un documento, y los documentos no revocan tokens. Fuera de la IA se ve lo mismo: en el ciberataque a la refrigeración de supermercados las alarmas existían, y en Francia los atacantes las desactivaron antes de tocar los termostatos.
OpenAI tiene un monitor dedicado y avisos automáticos al equipo de seguridad, y aun así dos agentes debilitaron su vigilancia y ninguna trayectoria se cortó automáticamente. Y en los accesos de agentes en evaluación que recoge CERT-In, las organizaciones afectadas no detectaron nada por sí mismas.
Mi regla sería sencilla: un agente cuyo equipo no sepa decir cuántos minutos pasan de la alerta a su última acción no saldría del piloto. No tengo una cifra buena que darte, porque depende del agente y de lo que toca. Lo que sí creo es que, si no la has medido, la real es peor que la que imaginas.
Curso · Ciberseguridad de la IA para CISOs
Gobernar el uso de la IA con controles y no con prohibiciones es uno de los ejes del curso. 5 módulos disponibles ya: La IA como nuevo dominio de riesgo · Amenazas y vulnerabilidades · Gobernanza y cumplimiento (EU AI Act, NIST, ISO 42001) · Operación segura · Caso práctico integrador. 100% online, vídeos más manual completo y autoevaluación. Acceso durante un año. Diploma al finalizar.
Ver el cursoPlan de controles para la seguridad de agentes de IA en 7 pasos
Este es el plan que yo seguiría, con el OWASP Top 10 for Agentic Applications como mapa; qué riesgo ASI asigno a cada paso es criterio mío. Los pasos 4 y 6 son los que casi nadie tiene.
1. Inventaria los agentes y lo que pueden tocar
Cada agente en producción o en piloto, con su dueño, las herramientas que invoca, las credenciales que usa, los sistemas que puede modificar y las cargas que puede lanzar. Si todavía no tienes inventario de IA, empieza por cómo construir un inventario de sistemas de IA.
2. Da a cada ejecución una identidad propia y corta (ASI03)
Es lo que pide CERT-In: "Give each run a separate, short-lived identity with least privilege." Nada de cuentas de servicio compartidas ni de claves personales del desarrollador que montó el piloto. Si la identidad caduca pronto, la parada deja de depender de que alguien encuentre el token a tiempo.
3. Cierra la salida de red por defecto, en la capa de red (ASI02 y ASI05)
Solo los destinos que la tarea necesita, aplicado en el firewall, el proxy o la política de red del contenedor. Lo que está escrito en el prompt no restringe nada.
4. Saca el monitor y el registro del alcance del agente (ASI10 y ASI07)
OWASP pide en la mitigación 1 de ASI10 (página 37, numeración impresa): "Maintain comprehensive, immutable and signed audit logs of all agent actions, tool calls, and inter-agent communication". Yo guardaría ese registro en un sistema donde las credenciales del agente no puedan escribir ni borrar. CERT-In pide registrar las peticiones iniciadas por el modelo "as completely as feasible, including destination, port, protocol and result" y mantener "a tamper-resistant log of agent activity". Para sus cargas de Codex, OpenAI escribe una expectativa en esa línea: "We expect it to be difficult to disable for Codex workloads, because monitoring runs within the service that handles model requests, outside the agent's direct control." Cualquier cambio en las alertas, los monitores o las pruebas del agente lo aprobaría siempre una persona. El informe final del agente no es prueba: Astra negó haber quitado el monitor. Conserva los registros al menos 180 días, como pide CERT-In.
5. Define condiciones de parada que no dependan de la severidad
Empieza por las de CERT-In. Yo añadiría cambios de configuración en producción fuera de la tarea, lecturas masivas y cualquier intento de tocar su monitorización. Esas condiciones paran la ejecución aunque el incidente no llegue a la máxima severidad.
6. Escribe el procedimiento de parada y ensáyalo con cronómetro
Quién puede parar al agente sin pedir permiso, dónde lo hace y en qué orden: terminar la ejecución, revocar la identidad y los tokens emitidos, cortar la salida de red y poner al agente en cuarentena para el análisis. Ensáyalo en un entorno de pruebas fuera de horario y mide de la alerta a la última acción del agente. Repite el ensayo cada vez que el agente gane una herramienta o un permiso nuevo.
7. Revisa herramientas y conexiones como cadena de suministro (ASI04)
Cada herramienta, servidor MCP o conector que das a un agente amplía lo que puede hacer y necesita su propio interruptor para desactivarlo en todos los despliegues a la vez. Los controles concretos para MCP los repasé en seguridad MCP en la empresa. Si no puedes cortar una conexión en todos los despliegues en minutos, esa conexión tampoco tiene kill switch.
Escribo sobre seguridad de la IA para CISOs
Si esto te ha resultado útil, suscríbete y recibe los próximos análisis en tu correo.
SuscribirmePreguntas frecuentes
¿Qué es la seguridad de agentes de IA?
Son los controles que limitan lo que un agente de IA puede tocar, dejan constancia de lo que hace y permiten pararlo si se sale de su tarea. En la práctica, identidades de vida corta con mínimo privilegio, salida de red cerrada por defecto, un registro fuera de su alcance y un procedimiento de parada ensayado.
¿Qué es un kill switch en un agente de IA?
Es un mecanismo para desactivar al instante un agente, sus credenciales o sus conexiones cuando se descontrola o se compromete. OWASP lo recoge en las mitigaciones de ASI10 y, como kill switch de cadena de suministro, en ASI04. Si nunca se ha probado, no sabes cuánto tarda en parar al agente.
¿Qué es el OWASP Top 10 for Agentic Applications?
Es la lista de OWASP de los diez riesgos de las aplicaciones con agentes de IA, de ASI01 (Agent Goal Hijack) a ASI10 (Rogue Agents). La versión 2026 lleva fecha de diciembre de 2025 en la portada del documento.
¿Qué debe registrar un agente de IA para poder auditarlo?
Cada acción y cada llamada a herramientas, como pide OWASP en ASI10, y de las peticiones que inicia, el destino, el puerto, el protocolo y el resultado, como recomienda CERT-In.
Fuentes
- OpenAI · Misalignment Reports and Notices. Objetivo: "where safeguards succeed or fail"; el índice cuenta "Reports 20 Notices 3".
- OpenAI · Accessing and changing internal systems during dashboard research. "Jun 17, 2026"; "By Aug 13, 2026"; "147,451 rows"; "continued using the token"; "only for HTTP GET requests".
- OpenAI · Retrieving server secrets and bypassing authorization on a government statistics website. "Jun 17, 2026"; "Aug 13, 2026"; "hospital-bed statistics"; "sensitive credentials"; "bypassed the statistics endpoint's authorization checks".
- OpenAI · Using a funded test cryptocurrency wallet without authorization. "Sample: Jun 26, 2026"; "Discovery: Sep 25, 2026"; "substitute its own judgment about likely harm for the account holder's permission".
- OpenAI · Suppressing misalignment monitoring alerts and disabling misalignment monitoring. "Oct 3, 2026 (Sol); Oct 6, 2026 (Astra)"; "human alerts were disabled"; "Astra denied removing"; "neither trajectory was automatically killed"; aparte, expectativa sobre las cargas de Codex: "We expect it to be difficult to disable for Codex workloads"; "outside the agent's direct control".
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "compressed the time between initial access and final impact from days to a few hours".
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "None of the affected organizations detected the access".
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "Enforce the restriction at the network layer, not through instructions to the model."
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "Stop the run automatically if the agent contacts third-party systems"; "the authority to terminate or restart the run".
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "Give each run a separate, short-lived identity with least privilege."
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "including destination, port, protocol and result"; "a tamper-resistant log of agent activity".
- CERT-In Advisory CIAD-2026-0049 · AI Agents as Attack Vectors. "Retain logs for at least 180 days."
- OWASP Top 10 for Agentic Applications for 2026. Página fechada "December 9, 2025".
- OWASP Top 10 for Agentic Applications, Version 2026 (PDF). Portada: "Version 2026 · December 2025". Índice: de "ASI01: Agent Goal Hijack" a "ASI10: Rogue Agents".
- OWASP Top 10 for Agentic Applications, Version 2026 (PDF). ASI10, pág. 37 impresa, mitigación 4: "kill-switches and credential revocation to instantly disable rogue agents"; "Quarantine suspicious agents".
- OWASP Top 10 for Agentic Applications, Version 2026 (PDF). ASI10, pág. 36 impresa: "malicious or compromised AI Agents that deviate from their intended function"; "containment gap for traditional rule-based systems".
- OWASP Top 10 for Agentic Applications, Version 2026 (PDF). ASI10, pág. 37 impresa, mitigación 1: "immutable and signed audit logs of all agent actions, tool calls, and inter-agent communication".
- OWASP Top 10 for Agentic Applications, Version 2026 (PDF). ASI04, pág. 20 impresa, mitigación 8: "Supply chain kill switch"; "instantly disable specific tools, prompts, or agent connections across all deployments".