Lo que un agente de IA no debe poder hacer, ni siquiera cuando se equivoca

by PASCAL IAKOVOU
0 comments

El 21 de septiembre de 2026, NVIDIA publicó un texto sobre la seguridad de los agentes de IA. Para una Maison que se plantea confiarles tareas, la primera pregunta se dirige a la dirección: ¿quién puede decir no al agente, y con qué medios?

Un adjunto, una exportación

Saša Zdjelar, que firma la entrada, plantea un escenario que cabe en tres líneas. Un agente actualiza una ficha de cliente. En un documento adjunto encuentra instrucciones maliciosas e intenta exportar los datos a un destino no autorizado. Según NVIDIA, una política de red debe bloquear la transferencia. Unos registros protegidos deben conservar también la huella de la llamada a la herramienta, de la decisión de autorización y de su resultado, para que el equipo de seguridad sepa qué herramienta se usó y a qué destino apuntaba el agente.

El derecho a modificar una ficha no da el de exportarla. El agente puede solicitar un acceso adicional, pero no puede concedérselo a sí mismo.

La consigna y la valla

NVIDIA escribe que una frontera de seguridad debe mantenerse incluso cuando el agente toma la decisión equivocada. Las instrucciones y las salvaguardas pueden orientar su comportamiento, pero el entorno donde se ejecuta debe imponer sus límites sobre los archivos, los destinos de red y los procesos, sin depender del razonamiento del agente. Pedir a un agente que sea prudente es contar con su respuesta el día preciso en que lo habrán engañado.

El fabricante presenta OpenShell como un entorno de ejecución de código abierto que aplica las políticas fuera del alcance del agente y aísla su trabajo en un entorno aislado (sandbox). Cisco (DefenseClaw, una capa de gobernanza) y JFrog (verificación de las competencias que el agente puede usar) se conectan a él. Procede una reserva: NVIDIA describe aquí su propia oferta y las de los socios de su alianza, y la entrada no aporta ninguna medición ni resultado de pruebas. Esto no prueba que estas herramientas fallen, solo que la promesa no queda establecida por este texto.

Cuatro cosas que exigir antes de la puesta en servicio

Transpongamos, sin pretender describir un caso real. Un agente encargado de encontrar una referencia en un fondo documental no tiene ninguna razón para leer los datos de contacto de los clientes. Una herramienta que prepara un borrador no tiene ninguna razón para poder publicarlo. Estas dos negativas son una decisión de dirección antes de ser un ajuste informático.

La entrada extrae de ello cuatro exigencias. Cada agente lleva una identidad trazable y credenciales limitadas a su tarea. Pruebas previas muestran que los controles bloquean la obtención de credenciales fuera de su perímetro y el envío de datos sensibles a un destino no autorizado. Estas pruebas se repiten tras cualquier cambio de modelo, de herramienta o de procedimiento de trabajo. Un responsable designado decide, a la vista de los resultados, si el sistema puede pasar a producción, y existen procedimientos para retirar los accesos y contener un incidente.

El proveedor puede vender la valla. No puede escribir en lugar de la dirección lo que el agente tiene derecho a tocar. Mientras una Maison no sepa completar la frase «este agente puede leer esto, modificar aquello, y solo tal persona puede suspenderlo», la elección de la herramienta importa poco.

Cette publication est également disponible en : English (Inglés) Français (Francés) Deutsch (Alemán) Italiano العربية (Árabe) 简体中文 (Chino simplificado) 日本語 (Japonés) Русский (Ruso) Ελληνικά (Griego)

LUXSURE LETTER

Le luxe, sélectionné plutôt que subi.

Recevez notre sélection éditoriale consacrée aux Maisons, aux idées et aux mutations qui façonnent le luxe contemporain.

RECEVOIR LUXSURE LETTER → DÉCOUVRIR LE MAGAZINE →

Related Articles