Чего ИИ-агент не должен мочь делать, даже когда ошибается

by PASCAL IAKOVOU
0 comments

21 сентября 2026 года NVIDIA опубликовала текст о безопасности ИИ-агентов. Для Дома (Maison), который рассматривает возможность поручать им задачи, первый вопрос адресован руководству: кто может сказать агенту «нет» и с помощью какого средства?

Вложение и экспорт

Саша Здьелар (Saša Zdjelar), подписавший пост, берёт сценарий, который укладывается в три строки. Агент обновляет карточку клиента. Во вложенном документе он встречает вредоносные инструкции и пытается экспортировать данные в неавторизованное место назначения. По словам NVIDIA, сетевая политика должна заблокировать передачу. Защищённые журналы также должны сохранять след вызова инструмента, решения об авторизации и его результата, чтобы служба безопасности знала, какой инструмент был использован и какое место назначения имел в виду агент.

Право изменять карточку не даёт права её экспортировать. Агент может запросить дополнительный доступ, но не может предоставить его себе сам.

Инструкция и ограда

NVIDIA пишет, что граница безопасности должна выдерживать, даже когда агент принимает неверное решение. Инструкции и ограничители могут направлять его поведение, но среда, в которой он выполняется, должна накладывать свои ограничения на файлы, сетевые адреса и процессы, не завися от рассуждений агента. Просить агента быть осторожным — значит рассчитывать на его ответ именно в тот день, когда его обманут.

Производитель представляет OpenShell как среду выполнения с открытым исходным кодом, которая применяет политики вне досягаемости агента и изолирует его работу в песочнице. К ней подключаются Cisco (DefenseClaw, уровень управления) и JFrog (проверка навыков, которыми может пользоваться агент). Необходима оговорка: NVIDIA описывает здесь собственное предложение и предложения партнёров своего альянса, а пост не приводит ни измерений, ни результатов испытаний. Это не доказывает, что эти инструменты не справляются, а лишь то, что обещание этим текстом не подтверждено.

Четыре вещи, которых следует требовать до ввода в эксплуатацию

Перенесём это, не претендуя на описание реального случая. Агенту, которому поручено найти ссылку в документальном фонде, незачем читать контактные данные клиентов. Инструменту, готовящему черновик, незачем иметь возможность его опубликовать. Эти два отказа — решение руководства, прежде чем стать ИТ-настройкой.

Пост выводит из этого четыре требования. Каждый агент имеет отслеживаемую идентичность и учётные данные, ограниченные его задачей. Предварительные испытания показывают, что средства контроля блокируют получение учётных данных вне периметра и отправку конфиденциальных данных в неавторизованное место назначения. Эти испытания повторяются после любой смены модели, инструмента или рабочей процедуры. Назначенный ответственный решает, исходя из результатов, можно ли запускать систему в эксплуатацию, а также существуют процедуры отзыва доступов и сдерживания инцидента.

Поставщик может продать ограду. Но он не может вместо руководства записать, к чему агенту разрешено прикасаться. Пока Дом (Maison) не умеет закончить фразу «этот агент может читать это, изменять то, и только такой-то человек может его приостановить», выбор инструмента значит мало.

Cette publication est également disponible en : English (Английский) Français (Французский) Deutsch (Немецкий) Italiano (Итальянский) Español (Испанский) العربية (Арабский) 简体中文 (Китайский (упрощенный)) 日本語 (Японский) Ελληνικά (Греческий)

LUXSURE LETTER

Le luxe, sélectionné plutôt que subi.

Recevez notre sélection éditoriale consacrée aux Maisons, aux idées et aux mutations qui façonnent le luxe contemporain.

RECEVOIR LUXSURE LETTER → DÉCOUVRIR LE MAGAZINE →

Related Articles