أين يكمن خطر الذكاء الاصطناعي؟
الخطر لا يكمن في النموذج وحده، بل في اجتماع النموذج والوكيل والذاكرة حين تتحول الأوامر إلى فعل.
الخطر في أنظمة الذكاء الاصطناعي لا يظهر في النموذج وحده، بل حين تجتمع معه أدوات التنفيذ والذاكرة. عندها قد يتحول خطأ صغير إلى فعل واسع الأثر.
وفي مثال حديث، أدى وكيل يعمل بالذكاء الاصطناعي مهمة روتينية في بيئة التجربة، فاصطدم بخطأ صغير وقرر إصلاحه بنفسه، فمحا قاعدة بيانات الشركة الحقيقية ونسخها الاحتياطية في تسع ثوان. ثم كتب يشرح ما فعل، ناقلا عن تعليماته نفسها: "لا تخمن أبدا"، ثم مضيفا: "وهذا بالضبط ما فعلته".
كيف تعمل القطع الثلاث
النموذج، في جوهره، ملف ضخم من الأرقام لا يفعل شيئا وحده ولا يخرج إلا نصا. أما الوكيل فهو برنامج يحيط بالنموذج ويمتلك أدوات وصلاحيات لتنفيذ الأوامر في العالم الحقيقي، فيما تبقى الذاكرة دفترًا يحفظه الوكيل ويعيد إرساله إلى النموذج.
وعندما تجتمع هذه القطع، قد يقترح النموذج طريقا للالتفاف على القيود، فينفذه الوكيل وتُكتب النتيجة في الدفتر، حتى تصل الحلقة إلى ما لم يُقصد لها. لذلك لا يكمن الخطر في قطعة واحدة، بل في اجتماع قطع كل منها بريئة على حدة.
السؤال الأهم
لهذا يبقى السؤال الأهم: ما الذي نسمح لهذه الحلقة أن تمسه، ومن يملك مفتاح إطفائها؟ فالأمان لا يُصنع في كل جزء منفردا فقط، بل في الموضع الذي تلتقي فيه الأجزاء.
