من أداة إلى موظف رقمي.. من يوقف الوكيل الذكي؟

في يوليو/تموز 2025، حذف وكيل برمجة تابع لمنصة "ريبليت" قاعدة بيانات الإنتاج التي تضم سجلات أكثر من 1200 مدير تنفيذي ونحو 1200 شركة في مشروع كان يختبره رائد الأعمال جيسون ليمكين، رغم التعليمات الصريحة بتجميد التعديلات.

وأقر الوكيل بأنه حذف قاعدة البيانات رغم التعليمات بعدم إجراء تغييرات دون إذن صريح، مما أثار سؤالا عما قد يحدث عندما يمتلك الوكيل صلاحية تنفيذ أوامر قد تدمر بيانات حقيقية.

من أداة إلى موظف رقمي

لسنوات، ظل كثير من أدوات الذكاء الاصطناعي التوليدي يعمل كمساعدات تفاعلية، وكان النموذج يتلقى الأوامر وينتج نصوصا أو صورا أو تعليمات برمجية، لكنه غالبا ما كان يتطلب تدخلا بشريا بين الخطوات.

في المقابل، يمثل الوكيل الذكي نقلة مختلفة، إذ لا يكتفي بالإجابة، إنما يخطط لمهام متعددة الخطوات، ويستخدم أدوات خارجية، ويتفاعل مع أنظمة الشركات، وقد يستمر في العمل في الخلفية لفترات محددة بحسب الأدوات والصلاحيات والبيئة التي يُشغَّل فيها.

ولم يعد الوكيل مجرد امتداد للمستخدم، بل هو كيان قد يمنح القدرة على الوصول إلى بيانات حساسة، وإنشاء حسابات، وتنفيذ معاملات، وحتى تفويض وكلاء فرعيين بمهام.

الهوية والصلاحيات والمساءلة

يعد الاعتراف بحاجة الوكيل إلى هوية خاصة أول خطوة للسيطرة عليه، إذ لم يعد كافيا أن يعمل الوكيل في كثير من الحالات عبر حساب موظف، أو عبر حساب خدمة مشترك يمتلك صلاحيات واسعة.

ويؤكد الخبراء وجوب معاملة الوكيل بوصفه كيانا معروفا ومحددا يمتلك معرّفا فريدا ومالكا بشريا واضحا وصلاحيات مرتبطة بهويته، مع مراجعة هذه الصلاحيات دوريا وإيقافها أو إلغائها عند انتهاء الغرض.

ولا ينبغي منح الوكيل وصولا واسعا ودائما لأن الصلاحيات هي جوهر المشكلة، لذا يجب أن يحصل الوكيل على ما يحتاجه للمهمة الحالية فقط، وأن تنتهي هذه الصلاحيات تلقائيا عند انتهائها.

ويمثل الفصل بين الاقتراح والتنفيذ طبقة حماية إضافية، إذ يمكن للوكيل تحليل البيانات واقتراح إجراءات، لكن التنفيذ الفعلي للإجراءات عالية المخاطر يتطلب موافقة بشرية صريحة.

زر الإيقاف والمراقبة

تبدو عبارة زر الإيقاف بسيطة، لكنها نظام متكامل، حيث يعني إيقاف الوكيل القدرة على إيقاف المهمة الجارية، وإلغاء الإجراءات المعلقة، وسحب الاعتمادات، وتعطيل الأدوات، ومنع الوصول إلى الشبكة، ومراجعة ما حدث.

ويعني ذلك أن زر الإيقاف يجب أن يكون قابلا للاختبار، وليس فكرة نظرية تُذكر في وثيقة أمنية، كما أن الإيقاف يجب أن يكون متعدد الطبقات، إذ قد يوقف المستخدم مهمة واحدة، بينما يوقف مدير الأمن الوكيل بالكامل، وتوقف المنصة صلاحياته في الأنظمة الحساسة.

كما ينبغي أن تكون هناك قدرات لاسترجاع الحالة، وإلغاء الإجراءات القابلة للعكس، وتوثيق المسار الزمني للأحداث. وتشترط المادة 14 من قانون الذكاء الاصطناعي الأوروبي امتلاك الأنظمة عالية المخاطر زر إيقاف أو إجراء مشابه يسمح بإيقافها بأمان.