ذاكرة روبوتات الدردشة تتحول إلى سجل شخصي متراكم

قد يبدو التذكر في روبوتات الدردشة ميزة مريحة، لكنه يتحول تدريجيا إلى سجل شخصي متراكم يعيد تعريف العلاقة بين الإنسان والذكاء الاصطناعي.

وتُظهر المفاهيم المرتبطة بـ"سياق المحادثة" و"سجل المحادثات" و"الذاكرة الطويلة الأمد" أن ما يحتفظ به الروبوت ليس بالضرورة نسخة كاملة من كل ما قيل، بل مجموعة معلومات مختصرة أو مستخلصة تُستخدم لاحقا في سياقات جديدة.

صورة رقمية تُبنى من التفاصيل

قد تتجاوز المعلومات التي يحتفظ بها روبوت الدردشة التفضيلات المصرح بها مباشرة، إذ يمكنه استنتاج اهتمامات أوسع أو تكوين تصورات عن طبيعة المشاريع أو المشكلات المتكررة. كما أن المعلومة المستنتجة ليست بالضرورة حقيقة مؤكدة، حتى لو بدت منطقية في ضوء المحادثات السابقة.

وحللت دراسة بحثية بعنوان "الصورة الذاتية الخوارزمية: تفكيك الذاكرة في شات جي بي تي" (The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT) بيانات 80 مشاركا، ورصدت 2050 مدخلا للذاكرة لدى 65 منهم. ووجد الباحثون أن 96% من هذه المدخلات أنشأها روبوت الدردشة من تلقاء نفسه، في حين جاءت نسبة 4% فقط استجابة لأمر مباشر بالتذكر.

مخاطر الحذف والتلاعب

وتزداد الإشكالية عند حذف المحادثات، لأن حذف محادثة لا يعني بالضرورة اختفاء كل معلومة استخلصها روبوت الدردشة منها. وتوضح "أوبن إيه آي" أن الذكريات المحفوظة منفصلة عن "سجل المحادثات"، وأن بعض سجلات الذكريات المحذوفة قد يُحتفظ بها لمدة تصل إلى 30 يوما لأغراض السلامة وتصحيح الأخطاء.

وفي الوقت نفسه، برزت مشكلة تسميم الذاكرة (Memory Poisoning)، وهي إدخال جهات خارجية أوامر أو حقائق غير مصرح بها في "الذاكرة الطويلة الأمد" لروبوت الدردشة. وقد عرض الباحث الأمني يوهان ريبرغر في سبتمبر/أيلول 2024 سلسلة استغلال في تطبيق "شات جي بي تي" عبر نظام التشغيل "ماك أو إس" جمعت بين زرع أوامر في "الذاكرة الطويلة الأمد" ومسار لإرسال بيانات من المحادثات إلى خادم خارجي.

وتشير الدراسات إلى أن التأثير قد يمتد زمنيا من خلال إدخال المحتوى في مرحلة واسترجاعه في مرحلة أخرى، وأن بعض دفاعات "حقن الأوامر" الحالية لا تغطي بالضرورة مخاطر هجمات "تسميم الذاكرة".

ولهذا تحتاج "الذاكرة الطويلة الأمد" إلى حماية في مراحل القراءة والتلخيص والاسترجاع والاستدلال، مع الحد من صلاحيات الاسترجاع والتنفيذ والفصل بين المحتوى والأوامر، وضمان ألا يقبل الروبوت كتابة معلومات غير موثوقة دون مراجعة ولا يكشف المحتويات الصحيحة لمن لا يملك صلاحية الاطلاع عليها.