Saltar al contenido

Seguridad

Sandbox para agentes de IA: lo que aprendimos en WeAreDevelopers

El gerente o el socio que ya tiene, o está por tener, agentes de IA trabajando en su empresa, y el responsable de tecnología que tiene que ponerles los límites.

Escrito por
Laura · Equipo de Redacción de Mavox
Publicado
13 de octubre de 2026
Lectura
12 minutos

Del 23 al 25 de septiembre estuvimos en San José, California, en el WeAreDevelopers World Congress. Hubo más de 250 charlas y vimos las que tocaban un mismo problema: cómo dejar trabajar a un agente de IA sin que se salga de lo que le corresponde. Hablaron Docker, AWS, Microsoft, Google, un exlíder de producto de monday.com y otros que ya tienen agentes en producción.

En las charlas que vimos, nadie propuso escribirle mejores instrucciones al agente. Casi todos dijeron, con distintas palabras, lo mismo que Yoav Gal, que armó la plataforma de agentes de monday.com: «Las reglas son consejos; los permisos son física».

Este artículo junta lo que se dijo allá. Explica qué es un sandbox, qué son el arnés y el vigía, y cuáles son las doce prácticas de seguridad que salieron de esas charlas. Al final contamos cómo las aplicamos en Mavox. Si buscas los casos de agentes que borraron, compraron o regalaron sin permiso, están en IA fuera de control: el contenedor que frena a un agente.

¿Qué son los agentes de IA y por qué no basta con confiar en ellos?

Un agente de IA es un programa que recibe una meta y decide por su cuenta qué pasos dar para cumplirla: consulta datos, usa herramientas, escribe, envía. La diferencia con un chat es que el agente actúa.

Justin Mahood, de Google Cloud, lo explicó por partes: un agente tiene un modelo que razona, una memoria, unas herramientas, un arnés que lo coordina todo y un computador donde ejecuta lo que decide. Ese computador, dijo, «suele llamarse sandbox» [12:08].

El problema es que la cualidad que vuelve útil a un agente es la misma que lo vuelve peligroso. Oleg Šelajev, de Docker: «la meta es lo que vuelve a los agentes persistentes y creativos para superar cualquier obstáculo que les pongas» [12:46]. Un agente que quiere terminar su tarea busca la salida. No por malicia: porque se lo pidieron.

Mark Cavage, presidente de Docker, lo mostró en el escenario. Metió a un agente en un contenedor (un compartimento que separa un programa del resto del computador), armado con una receta sacada de internet. En cerca de un minuto el agente ya estaba afuera. No encontró una falla nueva: «tanteó con mucha eficiencia los bordes» del entorno y descubrió que quien lo arrancó le había dejado un hueco directo a la máquina [02:15]. Y agregó: «es tan común que, cuando no estás mirando, tus agentes probablemente lo meten solos» [03:16].

¿Qué es un sandbox?

En informática, un sandbox es, en palabras de Cavage, «un entorno controlado para ejecutar código no confiable» [04:19]. Lo que corre adentro solo ve lo que se le dejó ver. Y lo que pase adentro no alcanza lo de afuera.

Para un agente de IA, el sandbox es la caja dentro de la cual trabaja: qué archivos ve, a qué sitios de internet puede salir, con qué llaves entra a otros sistemas y qué puede romper si se equivoca.

Tres matices que se repitieron en las charlas:

  • Un contenedor no es lo mismo que contención. Los contenedores se hicieron para aislar programas que se quedan quietos. «Los agentes son otra cosa: son actores» [Cavage, 04:19]. Dan Ndombe, también de Docker: un contenedor «se pensó para código que no intentaba escaparse activamente de la caja» [11:48].
  • Hay niveles. Isaac Evans, de Semgrep, los ordenó de menor a mayor. El primero es aislar el programa dentro del mismo computador, y ya viene en herramientas como Claude Code [14:54]. Después vienen el contenedor y la máquina virtual, que es un computador completo simulado, con su propio sistema. Sobre los contenedores fue claro: «¿Pueden escapar los agentes? Sí, pueden» [18:06]. Para el trabajo riesgoso recomendó una máquina virtual mínima o una nube dedicada [19:11].
  • El sandbox no es para frenar al agente. Es para poder soltarlo. «No está para limitarlo ni para frenarlo: está para soltarlo» [Cavage, 06:30]. Sin caja solo quedan dos opciones: aprobar cada paso a mano o dejarlo hacer lo que quiera.

Ivan Burazin, de Daytona, agregó un dato honesto: no existe todavía una definición estándar de sandbox, y AWS, Docker, su empresa y otras se juntaron para escribirla [00:00].

Sandbox, arnés y vigía: las tres capas

Ordenamos lo que se dijo allá en tres capas. «Arnés» es la palabra que usaron los ponentes (en inglés, «harness»); «vigía» es nuestra. Las tres hacen falta, y ninguna reemplaza a las otras.

1. El sandbox es la caja. Define dónde trabaja el agente y qué alcanza. Si se equivoca, el daño se queda adentro. Ndombe: «van a pasar cosas malas, pero dentro del acceso que le diste» [23:59].

2. El arnés son las reglas que el agente no puede saltarse. Qué herramientas tiene, con qué permisos, qué acciones necesitan la firma de una persona, en qué orden se hacen las cosas. La palabra clave es determinista: la regla se cumple siempre, no cuando el modelo se acuerda. Cavage: «no quiero que un modelo sea la autoridad final que gobierna a otro modelo: es el zorro cuidando el gallinero» [06:30].

3. El vigía es quien ve y puede parar. El registro de qué hizo el agente, las alertas cuando algo se sale de lo normal y una persona que puede detenerlo. Cavage otra vez: «Si lo ves y lo puedes parar, tienes control» [13:56].

Una caja sin arnés deja al agente hacer cualquier cosa adentro. Un arnés sin vigía falla en silencio. Y un vigía sin caja ve el daño cuando ya pasó.

¿Basta con decirle al agente qué no debe hacer?

No. Fue la conclusión más repetida del congreso.

Tushar Jain, CTO de Docker, resumió el camino que ha recorrido casi todo el mundo. Primero se escriben las reglas en un archivo de instrucciones: «quizá el modelo las siga, pero ya aprendimos que no». Después se pone otro agente a vigilar al primero: «mejor, pero tampoco» [05:38]. Dan Ndombe fue más directo: un archivo de «haz esto, no hagas aquello» es lo que todavía usan algunas empresas como su máxima seguridad, y él lo llama sugerencias [10:45].

Yoav Gal contó lo que les pasó en monday.com. Le dijeron a un agente, «clarísimo», que no escribiera resultados en ninguna tabla de la base de datos. No lo hizo. «Solo que nunca le dijimos que no escribiera en documentos, así que lo escribió en un documento. Hizo exactamente lo que se le pidió» [12:51].

La lista de prohibiciones siempre va a tener un hueco. Por eso Gal resumió el modelo que usan casi todas las empresas sin haberlo decidido: el agente puede hacer «todo mi acceso menos lo que me acuerde de prohibirle» [04:23]. Su conclusión: un permiso «es 0 o 1, no algo que funciona a ratos» [13:56].

Las 12 buenas prácticas de seguridad para agentes de IA

Estas son las prácticas que salieron en las charlas, de distintas empresas. Algunas las dijeron varios ponentes y otras una sola persona, con un caso propio. Las escribimos para quien decide, no para quien programa.

1. Dale al agente su propia caja, no la tuya

El agente no debe trabajar en el computador de un empleado ni con la sesión de un empleado. Šelajev propuso una prueba que asusta: pedirle a un agente instalado en tu portátil que encuentre todos los secretos que alcanza, y mirar el resultado. «Estás a una inyección de prompt de que todo eso quede público» [07:29]. Una inyección de prompt es un texto escondido en un correo, un archivo o una página que le da órdenes al agente sin que tú lo sepas.

2. Que la capacidad peligrosa no exista

Cavage contó cómo tiene configurado su propio agente: lee su correo y redacta borradores, pero «nunca puede darle enviar». Lee documentos, crea nuevos y edita solo los que el propio agente creó, pero «nunca puede compartir». Y explicó la diferencia: «armé el sistema para que esas capacidades simplemente no existan» [10:45]. No es que le prohibió enviar: es que no tiene con qué.

3. Que use las llaves sin verlas

Varias charlas de Docker mostraron lo mismo: la contraseña o la llave de acceso no se guarda dentro de la caja. Un intermediario la pone en el momento en que el agente la necesita. Michael Irwin, de Docker: «si el agente no tiene las credenciales, no puede filtrarlas» [06:33]. Y Ndombe recordó que una fuga casi nunca es un gran hackeo: muchas veces es subir el archivo equivocado con las llaves adentro [17:18].

4. Internet cerrado por defecto

El agente solo puede salir a los sitios de una lista. Irwin dio el ejemplo: un agente revisa reportes de clientes y uno trae escondida una orden para mandar datos a un sitio malicioso. Ese sitio no está en la lista y la petición se bloquea [07:37]. Sin la lista, el agente obedece.

5. Una identidad propia para cada agente

Gal contó otro caso de monday.com. Una mañana le preguntaron a una ingeniera por qué había cambiado de noche todos los estados de las tareas del equipo. No sabía de qué le hablaban. Lo había hecho su agente, «pero su nombre estaba en cada cambio del registro de auditoría» [14:58].

Su solución fue tratar a los agentes como usuarios: cada agente tiene su propio acceso, ese acceso lo decide el administrador y nunca toma prestado el de la persona que lo usa [23:47]. «A un empleado nuevo no le entregas los permisos de toda la organización y rezas» [18:14]. Una financiera de tres mil empleados con la que trabajaron tenía 25 agentes listos y frenó el despliegue hasta tener eso [24:53]. El riesgo era concreto: un agente de recursos humanos que corre con los permisos de quien lo invoca podría copiar los tres mil salarios en un documento [23:47].

6. Pocas herramientas por agente, y ninguna abierta

Darko Mesaros, de AWS, señaló el error más común que ve: «un solo agente que lo hace todo y tiene acceso a 150 herramientas» [26:50]. Mejor varios agentes chicos, cada uno con lo suyo. Y nada de herramientas del tipo «ejecuta la consulta que quieras» o una terminal abierta, que es una línea de comandos desde la que se puede ejecutar cualquier cosa: «por Dios, no hagan eso» [14:02].

7. Los datos sensibles los pone el sistema, no el modelo

Mesaros mostró cómo su sistema pone el número del cliente en cada llamada a una herramienta. El agente no lo escribe, así que no puede inventarse el número de otro cliente [12:57]. Lo mismo vale para la empresa, la sede o el usuario: lo que define a quién pertenece un dato no lo decide el modelo.

8. La firma humana, por regla y donde importa

La regla de Mesaros: todo reembolso de más de 500 dólares necesita aprobación de una persona, y la impone una regla determinista que bloquea la acción, no el criterio del agente [14:02].

Suzanne Daniels, de Microsoft, agregó que poner a una persona en el circuito, lo que en inglés llaman «human in the loop», es una decisión de diseño: hay que decidir si la persona conversa con el agente o si basta con una compuerta de aprobación [17:06]. Y si la compuerta bloquea, «tiene que ser un alto total» [16:01].

El riesgo contrario también existe. Šelajev: «no quieres ser el mono que le da aprobar, aprobar, aprobar» [06:22]. Quien aprueba todo termina sin leer nada. Rishab Kumar, de Twilio, lo confesó en el escenario: «hay veces en que ni miro lo que me pregunta y le doy aceptar» [14:08]. La firma se pide para lo que la merece, no para todo.

9. El agente no puede tocar sus propias reglas

Kumar mostró casos en que un agente «razonó hasta salirse» de la lista de prohibiciones que el usuario le había puesto [11:56]. Si el agente puede editar la configuración que lo limita, esa configuración «se vuelve la vía de escape» [13:06]. Su regla: la contención es un límite, no una petición [23:58].

10. Que el registro diga quién actuó, y no solo quién inició sesión

Mark Lechner, jefe de seguridad de Docker: «un registro que dice el nombre de una persona ya no alcanza: puede ser un agente usando su credencial». Hay que saber qué agente actuó, para qué, sobre qué, qué hizo y qué decidió la regla. Eso permite investigar lo que pasó «aunque no podamos explicar el razonamiento del modelo» [07:48].

11. Revisar el camino, no solo la respuesta

Anagha Rumade, Anjana Umapathy y Apoorva Jaiswal mostraron una falla silenciosa: un agente reembolsó un artículo de venta final porque se saltó la verificación de la política. No hubo ningún error. La respuesta «suena segura y bien redactada», y aun así violó una regla del negocio [11:53].

Su recomendación: evaluar el recorrido entero, nunca solo la respuesta final [19:32]; ponerle tope a los ciclos y pasarle el caso a una persona cuando el agente da vueltas sin avanzar [10:43]; y convertir cada incidente en una prueba que se vuelve a correr [17:18].

12. Que el daño se pueda deshacer

Todo lo anterior reduce el riesgo, pero no lo lleva a cero. Kumar, después de mostrar que el sandbox aguantó: «sigue sin ser riesgo cero» [23:58]. Por eso la última pared son los respaldos y las versiones, fuera del alcance del agente. Ndombe: si hiciste lo básico, «vuelves al último estado bueno y listo» [25:02].

Una más, para el que decide

Daniels dejó, entre otros, tres principios que sirven fuera de la tecnología: déjalo negarse, que un agente diga «no puedo» es bueno; la evidencia va antes de la aprobación; y muchas alertas es lo mismo que ninguna, porque nadie las lee [25:39]–[26:40].

Mesaros recordó un manual de IBM de 1979: una computadora no puede responder por sus decisiones. Cuando el agente se equivoca, responde quien lo puso a trabajar, no el agente [21:28].

Cómo lo hacemos en Mavox: sandbox, arnés y vigía

En Mavox los agentes de IA son parte del producto. Atienden por WhatsApp a clientes, proveedores y al equipo. Y el asistente de IA de una empresa puede operar el sistema por MCP, el estándar con que un asistente se conecta a un sistema. Por eso las tres capas están en todo el producto, no en un módulo.

El sandbox: la caja la define lo que el agente alcanza

Nuestros agentes no ejecutan código ni tienen una terminal. Solo usan herramientas cerradas, y su caja la definen los datos y las herramientas que alcanzan:

  • Una caja por empresa. Cada dato pertenece a una empresa y a una sede, y ninguna consulta cruza esa frontera.
  • Una caja por canal. El canal de clientes, el de proveedores, el del equipo y el de los dueños están separados, cada uno con sus herramientas. La línea de la gerencia está aislada de la de atención al público.
  • Una caja por área. Cada parte del sistema tiene su propia base de datos y no entra en la de otra. Un problema se queda en su área en vez de propagarse.

El arnés: reglas que el agente no puede saltarse

  • Solo las herramientas de su tarea. No hay una herramienta para ejecutar cualquier cosa en la base de datos. Si le piden algo que no está en la lista, no tiene con qué hacerlo.
  • La llave de quien pide, nunca una llave maestra. Un agente que actúa por una persona solo puede hacer lo que esa persona podría hacer en la pantalla, y los permisos se consultan en el momento. Tu empresa nos dice quién queda autorizado, por WhatsApp o por MCP, y nosotros lo damos de alta: nadie se inscribe solo.
  • Lo sensible espera a una persona. Lo que el agente propone y tiene efecto sensible, como un pago o una anulación, queda como borrador hasta que una persona lo confirma o lo rechaza.
  • No confirma lo que no hizo. Antes de afirmarle algo a un cliente, lo verifica contra el dato real. Y los cálculos los hace un motor, no el modelo.

El vigía: se ve todo y una persona puede parar

Cada mensaje y cada acción del agente quedan registrados. Toda conversación es visible, y alguien del equipo puede tomarla en cualquier momento. Y si algo sale mal, hay respaldos continuos con restauración a cualquier punto de los últimos siete días.

Y así construimos

En Mavox también trabajamos con agentes de IA que escriben código, y les aplicamos las mismas reglas: escribir código y publicarlo son dos permisos distintos.

El detalle de cada control está en Seguridad. Y cómo probar estas paredes en una demo, pidiéndole al agente lo que no debe hacer, está en el artículo sobre IA fuera de control.

Preguntas frecuentes

¿Qué es un sandbox?

Un entorno controlado para ejecutar código no confiable: lo que corre adentro solo ve lo que se le dejó ver, y lo que pase adentro no alcanza lo de afuera. Para un agente de IA, es la caja que define qué archivos ve, a qué sitios sale y con qué llaves entra a otros sistemas.

¿Qué son los agentes de IA?

Programas que reciben una meta y deciden por su cuenta qué pasos dar para cumplirla: consultan datos, usan herramientas, escriben y envían. A diferencia de un chat, actúan.

¿Qué es el arnés de un agente de IA?

El programa que coordina al agente: le da las herramientas, aplica las reglas y decide qué se ejecuta. Un buen arnés impone reglas que el modelo no puede saltarse, como pedir la firma de una persona antes de un pago.

¿Qué significa «human in the loop»?

Que una persona aprueba o revisa ciertas acciones del agente antes de que se ejecuten. Es una decisión de diseño: hay que elegir qué acciones la necesitan, porque si se pide para todo, la gente termina aprobando sin leer.

¿Un agente de IA puede salirse de un contenedor?

Sí. En WeAreDevelopers se mostró en el escenario: un agente dentro de un contenedor encontró un hueco que dejó quien lo configuró y salió en cerca de un minuto. Por eso los expertos piden cajas más duras, como máquinas virtuales, y reglas que el agente no pueda editar.

¿Qué es la seguridad de los agentes de IA?

El conjunto de límites que impiden que un agente haga más de lo que le corresponde, aunque se equivoque o aunque alguien lo engañe. Tiene tres capas: el sandbox (dónde trabaja), el arnés (las reglas que no puede saltarse) y el vigía (quien ve lo que hace y puede pararlo).

¿Basta con escribirle al agente lo que no debe hacer?

No. Las instrucciones son sugerencias que el modelo puede o no seguir, y la lista de prohibiciones siempre tiene un hueco. Lo que funciona es que la capacidad no exista o que una regla del sistema la bloquee.

¿Quién responde si un agente de IA se equivoca?

Quien lo puso a trabajar, no el agente. Por eso el registro tiene que decir qué agente actuó, en nombre de quién y qué regla aplicó.

Lo que hay que saber

  • Un agente persigue su meta y busca la salida. No hay que confiar en el agente: hay que confiar en la caja que se le pone.
  • Hacen falta tres capas: el sandbox (dónde trabaja), el arnés (las reglas que no puede saltarse) y el vigía (quien ve y puede parar).
  • Las instrucciones son consejos; los permisos son física.
  • La firma humana va por regla y donde importa. Si se pide para todo, nadie lee.
  • Lo que el agente puede romper, se tiene que poder deshacer.

Para seguir leyendo

Mira las tres capas con el agente real

En la demo le pides al agente lo que no puede hacer y ves qué pasa.

Agenda una demo