"فرامل طوارئ".. الرئيس التنفيذي لمايكروسوفت يطلق تحذيرًا للسيطرة على وكلاء الذكاء الاصطناعي
دعا الرئيس التنفيذي لشركة مايكروسوفت ساتيا ناديلا، إلى فرض مزيد من التحكم البشري في أنظمة الذكاء الاصطناعي، بحيث يستطيع شخص إيقافها أثناء تنفيذ المهمة، وذلك مع اتساع استخدام أدوات لا تكتفي بالإجابة عن الأسئلة فقط، وإنما تصل إلى الملفات والخدمات وتنجز إجراءات نيابة عن مستخدميها، ما يجعل الخطأ أو الاختراق قادرًا على إحداث أثر كبير خارج شاشة المحادثة.
في بوست مطول على إكس، حذر ناديلا من تعرض أي نموذج للاختراق أو التلاعب، ما يستدعي تدخلًا بشريًا سريعًا، وشبّه الحاجة إلى إيقافه في هذه الحالات بـ"فرامل طوارئ"، داعيًا إلى أن تكون أدوات التحكم منفصلة عن النموذج نفسه، حتى لا يقرر البرنامج وحده حدود الصلاحيات الممنوحة له أو شروط إيقافه.
ويفرق هذا التصور بين النموذج الذي يولّد الردود والتوجيهات، والنموذج القادر على الوصول إلى البريد الإلكتروني وقواعد البيانات والتطبيقات، مطالبًا بتحديد طبقة مستقلة من الحماية تتولى الحصول على الموافقات المسبقة، موضحًا أن الخطأ في تلخيص رسالة قد يظل قابلًا للتصحيح، بينما إرسال بيانات خاصة إلى جهة غير مقصودة قد يصعب التراجع عنه.
يُذكر أن إرشادات مايكروسوفت المنشورة سابقًا تطرح فكرة قريبة تعرف بـ"الصلاحيات الدنيا"، أي منح كل وكيل الأدوات والبيانات اللازمة لمهمته فقط. وتوصي بأن تكون الموافقة البشرية على الإجراءات الخطرة شرطًا يفرضه التطبيق، وليس قرارًا يُترك للنموذج. وهذا فارق عملي، لأن النموذج المعرض للتلاعب قد يتجاهل طلب المراجعة، بينما تستطيع طبقة برمجية منفصلة منع الإجراء أصلًا.