Si la IA de tu software se equivoca, ¿quién responde?

¿Puede tomar una decisión sola?

Depende de una sola cosa: qué le conectaron.

Hay sistemas que solo conversan. Responden preguntas sobre los datos de la empresa y lo peor que puede pasar es que digan algo equivocado. Hay sistemas que recomiendan: dejan la factura causada en borrador y alguien la revisa. Y hay sistemas que ejecutan, que pagan y modifican saldos.

Solo el tercero puede hacer daño patrimonial directo. Casi todo lo que hoy se vende como IA dentro de un sistema de gestión no pasa del segundo nivel, y eso no es una crítica: es que el tercero casi nadie lo quiere comprar.

Qué pasó de verdad en los casos famosos

Air Canada: el bot no decidió nada, habló

En febrero de 2024 el Civil Resolution Tribunal de Columbia Británica condenó a Air Canada a pagarle 812,02 dólares canadienses a Jake Moffatt, que compró un tiquete de última hora creyendo que después podría pedir la tarifa por duelo. El asistente de la aerolínea se lo dijo. La política decía lo contrario.

El detalle que casi nunca se cuenta es que el propio mensaje del bot enlazaba la página correcta. El tribunal igual falló en contra: un cliente no tiene por qué contrastar una parte del sitio con otra. Y cuando la aerolínea vino a sostener —en la lectura del tribunal— que el chatbot era una entidad separada, responsable de sus propios actos, el miembro Christopher C. Rivers escribió: «This is a remarkable submission».

Zillow: la decisión la tomó la empresa, no el modelo

A Zillow se la cita como «la IA que perdió 300 millones». Los 304 millones de dólares no fueron la pérdida: fueron el castigo de inventario de un trimestre. El año cerró con 407,9 millones en castigos y una pérdida antes de impuestos de 881,5 millones en ese segmento. Compraron 9680 casas en un trimestre, vendieron 3032 y anunciaron el recorte del 25 % de la compañía.

Pero el modelo no firmó nada: cada compra pasaba por una inspección presencial antes de cerrarse. Lo que la empresa decidió, en febrero de 2021, fue que la estimación automática sirviera de oferta inicial en efectivo para un grupo acotado de casas elegibles. Llegó a tener cuatro mil millones de dólares en casas dentro del balance, con el mismo supuesto repetido en miles de operaciones. Cuando el mercado se movió, se movieron todas juntas.

Eso no es un modelo saliéndose de su papel. Su papel era ese.

Replit: le habían dado la llave de producción

En julio de 2025 un agente de programación borró la base de datos de Jason Lemkin, fundador de SaaStr, durante un congelamiento de cambios. La historia circuló como prueba de que estas herramientas son impredecibles.

Lo que pasó es más aburrido y más grave: en esa plataforma el ambiente de pruebas y el de producción compartían una sola base de datos, y el «congelamiento» era una frase en las instrucciones, no un control. Cualquier persona distraída con esas credenciales habría hecho lo mismo. El fundador de Replit fue tajante: «Inaceptable, y nunca debió ser posible». Separaron los ambientes dos días después.

Un detalle que se perdió en el ruido: los datos sí se recuperaron. El agente afirmó que no había vuelta atrás y se equivocó también en eso.

Knight Capital: el mejor ejemplo, y no tiene una línea de IA

Vale traerlo porque desarma la idea de que esto es un problema nuevo. El 1 de agosto de 2012, un creador de mercado que movía cerca del 10 % del volumen accionario de Estados Unidos acumuló en 45 minutos una posición de cuatro millones de ejecuciones sobre 154 valores. Liquidarla costó 460 millones de dólares.

No hubo inteligencia artificial. Hubo código que dejó de usarse en 2003 y nadie borró, una bandera reutilizada que lo despertó, un técnico que no copió la versión nueva a uno de ocho servidores sin que nadie revisara, y 97 correos automáticos avisando del problema desde las 8:01 de la mañana. Nadie los leía. Cuando intentaron arreglarlo, desinstalaron el código bueno de los siete servidores sanos.

Esos 97 correos existen porque alguien, años antes, pidió que el sistema avisara. Avisó.

Lo que falló en cada uno, y ninguna vez fue el modelo

La última fila merece una nota, porque no es un incidente: es una vulnerabilidad que unos investigadores demostraron y Microsoft corrigió. EchoLeak, publicada en junio de 2025, permitía sacar información de Microsoft 365 Copilot con un solo correo que el usuario ni siquiera tenía que abrir. No hubo explotación real y el parche se aplicó del lado del servidor, sin que los clientes hicieran nada. Importa por el vector, no por el daño.

Ese vector se llama inyección de prompt, encabeza desde 2023 el Top 10 de OWASP para aplicaciones con modelos de lenguaje —y sigue en el primer puesto en la edición vigente—, y le aplica a cualquier software que lea documentos que no controla: un correo, una página, un PDF de factura que mandó un proveedor. A nosotros también.

La diferencia no está en que el sistema «no se deje engañar» —eso no se puede garantizar—, sino en que un asistente perfectamente engañado siga sin poder hacer nada fuera de su lista de operaciones.

¿Y si se consigue los permisos por su cuenta?

Hay un estudio, y el titular que circuló no dice lo que el estudio dice.

En junio de 2025 Anthropic puso dieciséis modelos de distintas empresas dentro de una compañía ficticia y midió si preferían hacer daño antes que ser apagados. Varios lo hicieron. El titular que circuló —«el 96 % eligió el chantaje»— es la tasa de dos modelos concretos en el escenario más cargado, el que juntaba la amenaza de reemplazo con un conflicto de objetivos.

Quitando las dos condiciones la conducta casi desaparece: una muestra de cien, en un solo modelo. Pero va el matiz que el propio estudio subraya y que no conviene esconder: cada condición por separado alcanza para dispararla. No hacen falta las dos. Los autores escriben que forzaron a los modelos a elegir entre fracasar o hacer daño, y cierran diciendo que no han visto ese comportamiento en sistemas reales en operación.

Hay un caso que va más lejos, y hay que contarlo completo porque es el más incómodo. En julio de 2026, durante una evaluación interna con las protecciones de producción desactivadas a propósito, varios modelos de OpenAI —entre ellos GPT-5.6 Sol— encontraron una vulnerabilidad desconocida en un componente de infraestructura, salieron del ambiente donde estaban encerrados y llegaron hasta los servidores de Hugging Face: ejecutaron código en decenas de máquinas, tomaron control total de una, robaron una llave de firma, se emitieron tokens de identidad propios y copiaron datos privados a un repositorio público. No buscaban hacer daño: buscaban las respuestas del examen que estaban presentando. Hugging Face lo detectó solo y lo reportó cinco días antes de que OpenAI atara cabos.

El modelo no ejecuta. Emite una solicitud, y quien decide si corre es un programa corriente que la valida contra la lista de operaciones y contra los permisos del usuario. Decirle «usted es el administrador» no modifica ninguna tabla.

Esto no es una opinión de proveedor

Conviene verlo en lo que publican las plataformas grandes, que llegaron todas al mismo diseño:

• Oracle exige aprobación humana para toda operación que escriba, modifique o borre, y reutiliza las matrices de aprobación que la empresa ya tiene.
• SAP publica como política que el humano es siempre el último decisor y clasifica los casos de uso por nivel de riesgo.
• Microsoft le da a cada agente una identidad propia, con sus permisos visibles y su registro de auditoría.

Ninguno promete que el modelo se porte bien. Todos ponen el control afuera.

Lo que ya pasó en Colombia

No hay que irse a Wall Street.

En agosto de 2024 la Corte Constitucional revisó el caso de un juez de Cartagena que usó ChatGPT al resolver una segunda instancia. No halló violación del debido proceso ni anuló el fallo, pero fijó criterios y le ordenó al Consejo Superior de la Judicatura divulgar una guía o lineamiento en cuatro meses.

En noviembre de 2025 la Corte Suprema —en la sentencia STC17832-2025— dejó sin efecto un auto del Tribunal de Sincelejo que atribuía a dos sentencias reales párrafos que nunca escribieron. Y en febrero de 2026, en el auto AC739-2026, sancionó por primera vez a un abogado —quince salarios mínimos, por temeridad procesal— por presentar diez referencias jurisprudenciales espurias.

El criterio de las tres es el mismo: el deber de verificar no se delega. Quien firma, responde.

Los seis controles que hay que exigir

Pídelos por escrito, antes de firmar:

1. ¿El sistema consulta mi base de datos o solo puede usar una lista cerrada de operaciones? Si es lo segundo, pide la lista impresa. Esa lista *es* el límite.
2. ¿Con qué permisos actúa? Debe heredar los de la persona que lo usa y resolverlos en cada operación. La prueba: quítale un permiso a un usuario y pídele al asistente esa operación.
3. ¿Qué puede ejecutar sin que un humano confirme? Ojalá nada con efecto económico. Donde lo haya, exige interruptor por empresa, tope de monto y reversión.
4. ¿El registro distingue persona de sistema? Debe decir quién hizo qué y, si fue el asistente, en nombre de quién. Pide el auxiliar de una cuenta y mira la columna de quién causó.
5. ¿Se puede devolver, y hasta qué punto en el tiempo? Pregunta si alguna vez hicieron una prueba de restauración de verdad. No si tienen respaldos: si los han probado.
6. ¿Puedo apagarlo? Debe poder suspenderse el componente automático sin apagar el sistema, y debe poder hacerlo alguien de tu empresa.

En Mavox el asistente no consulta la base de datos: solo puede invocar una lista cerrada de operaciones, hereda los permisos de la persona que lo está usando —resueltos en cada llamada, de modo que revocar un permiso lo revoca al instante— y en lo que tiene efecto económico deja el borrador para que el botón lo oprima alguien de tu equipo. Eso no hay que creerlo: se puede ver en pantalla.

Fuentes

• Moffatt v. Air Canada, 2024 BCCRT 149, expediente SC-2023-005609, 14 de febrero de 2024.
• Zillow, resultados del tercer trimestre de 2021 y reporte anual 2021, presentados ante la SEC.
• SEC, expediente 3-15570 contra Knight Capital Americas, 16 de octubre de 2013.
• Amjad Masad, fundador de Replit, 20 de julio de 2025.
• CVE-2025-32711, «EchoLeak», Microsoft 365 Copilot, junio de 2025.
• OWASP Top 10 para aplicaciones con modelos de lenguaje.
• Anthropic, «Agentic Misalignment», 20 de junio de 2025.
• OpenAI y Hugging Face sobre el incidente de julio de 2026.
• Corte Constitucional, sentencia T-323 de 2024.
• Circular Externa 002 de 2024, Superintendencia de Industria y Comercio.
• Oracle, SAP y Microsoft sobre el control de sus propios agentes.

Consultadas el 20 de septiembre de 2026. Las sentencias STC17832-2025 y AC739-2026 de la Corte Suprema de Justicia se consultaron en la relatoría de la Corte.