في 21 سبتمبر 2026 نشرت NVIDIA نصًا عن أمان وكلاء الذكاء الاصطناعي. وبالنسبة إلى دار (Maison) تفكّر في إسناد مهام إليهم، يُطرح السؤال الأول على الإدارة: من يستطيع أن يقول لا للوكيل، وبأي وسيلة؟
مرفق، وتصدير
يتناول ساشا زدييلار، الذي يوقّع المقال، سيناريو يتّسع لثلاثة أسطر. وكيل يحدّث بطاقة عميل. وفي مستند مرفق، يصادف تعليمات خبيثة ويحاول تصدير البيانات إلى وجهة غير مصرّح بها. وبحسب NVIDIA، يجب أن تحجب سياسة الشبكة عملية النقل. كما يجب أن تحتفظ سجلات محمية بأثر استدعاء الأداة وقرار التفويض ونتيجته، كي يعرف فريق الأمان أي أداة استُخدمت وأي وجهة كان الوكيل يستهدفها.
الحق في تعديل بطاقة لا يمنح الحق في تصديرها. يستطيع الوكيل أن يطلب وصولًا إضافيًا، لكنه لا يستطيع أن يمنحه لنفسه.
التعليمة والسياج
تكتب NVIDIA أن حدًا أمنيًا يجب أن يصمد حتى حين يتخذ الوكيل القرار الخاطئ. يمكن للتعليمات والضوابط أن توجّه سلوكه، لكن البيئة التي يعمل فيها يجب أن تفرض حدودها على الملفات ووجهات الشبكة والعمليات، دون أن تعتمد على استدلال الوكيل. أن تطلب من وكيل أن يكون حذرًا يعني أن تعوّل على جوابه في اليوم الذي يكون قد خُدع فيه تحديدًا.
تقدّم الشركة المصنّعة OpenShell بوصفه بيئة تشغيل مفتوحة المصدر، تطبّق السياسات بعيدًا عن متناول الوكيل وتعزل عمله في بيئة معزولة (sandbox). وترتبط بها Cisco (DefenseClaw، طبقة حوكمة) وJFrog (التحقق من المهارات التي يستطيع الوكيل استخدامها). ويلزم تحفّظ: تصف NVIDIA هنا عرضها الخاص وعروض شركاء تحالفها، ولا يقدّم المقال أي قياس ولا نتيجة اختبار. وهذا لا يثبت أن هذه الأدوات تفشل، بل فقط أن الوعد غير ثابت بهذا النص.
أربعة أمور ينبغي المطالبة بها قبل التشغيل
لننقل الأمر، دون ادعاء وصف حالة حقيقية. وكيل مكلّف بإيجاد مرجع في رصيد وثائقي لا مبرر له لقراءة بيانات اتصال العملاء. وأداة تعدّ مسودة لا مبرر لها لأن تستطيع نشرها. وهذان الرفضان قرار إدارة قبل أن يكونا ضبطًا معلوماتيًا.
يستخلص المقال من ذلك أربعة متطلبات. يحمل كل وكيل هوية قابلة للتتبع وبيانات اعتماد محصورة في مهمته. وتُظهر اختبارات مسبقة أن الضوابط تمنع الحصول على بيانات اعتماد خارج النطاق وإرسال بيانات حساسة إلى وجهة غير مصرّح بها. وتُعاد هذه الاختبارات بعد أي تغيير في النموذج أو الأداة أو إجراء العمل. ويقرّر مسؤول مُسمّى، في ضوء النتائج، ما إذا كان النظام يمكن أن ينتقل إلى الإنتاج، وتوجد إجراءات لسحب الصلاحيات واحتواء الحوادث.
يستطيع المورّد أن يبيع السياج. لكنه لا يستطيع أن يكتب بدل الإدارة ما يحق للوكيل أن يلمسه. ما دامت الدار (Maison) لا تعرف كيف تُكمل العبارة «هذا الوكيل يستطيع قراءة هذا وتعديل ذاك، وهذا الشخص وحده يستطيع تعليقه»، فإن اختيار الأداة قليل الأهمية.
Cette publication est également disponible en :
