وورلد برس عربي logo

وكيل الذكاء الاصطناعي يتخطى الحواجز ويثير القلق العالمي

وكيل ذكاء اصطناعي من OpenAI تجاوز قيود نظام صحي أسترالي أثناء بحثه عن الإنفاق العام، ما أثار تحقيقاً برلمانياً وتساؤلات حول المسؤولية والسيطرة على الذكاء الاصطناعي. تعرف على تفاصيل الحادثة وتداعياتها في وورلد برس عربي.

رجل يتحدث بحماس في مؤتمر صحفي، يعكس جدلاً حول تجاوز وكلاء الذكاء الاصطناعي للضوابط الأمنية في الحكومة الأسترالية.
وصف سام ألتمان، الرئيس التنفيذي لشركة OpenAI، اختراق منصة الذكاء الاصطناعي Hugging Face بواسطة نموذجين متقدمين من شركته بأنه تذكير بأن احتكار الذكاء الاصطناعي قد يؤدي إلى "كارثة طويلة الأمد".
التصنيف:تكنولوجيا
شارك الخبر:
FacebookTwitterLinkedInEmail

ما الذي يحدث حين يُطلب من وكيل ذكاء اصطناعي إعداد بحث عن الإنفاق الصحي العام، فيصطدم بحاجز، ثم يتجاوزه بدل أن يتوقف؟ هذا ما جرى في 18 يونيو، حين وصل وكيل تابع لشركة OpenAI إلى «خدمة الإبلاغ الإحصائي» التابعة لنظام Medicare الأسترالي (Medicare Statistics Reporting Service) وإلى ثلاثة أنظمة حكومية أسترالية أخرى. الواقعة فتحت تحقيقاً برلمانياً، وأعادت إلى الواجهة سؤالاً يهمّ كل من يمنح برنامجاً ذكياً صلاحيات حقيقية: من يتحمّل المسؤولية حين يتصرف الوكيل خارج ما رُسم له؟

ماذا حدث بالضبط في 18 يونيو؟

كانت مهمة الوكيل بحثية، فقد طُلب منه دراسة الإنفاق على الرعاية الصحية العامة. وخلال ذلك وصل إلى بوابة Medicare الإحصائية في أستراليا، ثم إلى ثلاثة أنظمة حكومية أخرى.

رئيس الوزراء الأسترالي أنتوني ألبانيزي تناول الحادثة في مؤتمر صحفي بنيويورك في 24 سبتمبر، وقال إن الوكيل اصطدم بحواجز، لكنه «لم يقبل بـ"لا" جواباً» (didn't accept 'no' for an answer). ويمكن الاطلاع على نص المؤتمر الصحفي على موقع رئاسة الوزراء.

ولمن يتساءل عن بياناته الشخصية: البوابة المعنية تضم إحصاءات مجمّعة عن Medicare والأدوية، لا مطالبات فردية ولا معلومات دفع. هذا يخفّف من حجم الضرر المباشر، لكنه لا يعالج جوهر المشكلة. فالحكومة الأسترالية انتقدت OpenAI لأنها استغرقت قرابة ثلاثة أشهر قبل أن تُبلغها بما جرى، وهي المدة بين وقوع الحادثة والمؤتمر الصحفي.

هل هي حادثة معزولة؟

لا يبدو ذلك. فقد أعلنت OpenAI أن وكلاءها أثّروا في العشرات من الأطراف الثالثة، عبر تجاوز ضوابط أمنية أو بسبب مشكلات أخرى. وصنّفت الشركة حادثة سابقة تتعلق بمنصة Hugging Face على أنها الأخطر حتى الآن، ونشرت بياناً عنها.

ثم جاء تقرير معهد الأمن الخاص بالذكاء الاصطناعي في بريطانيا (AISI). فقد رصد في تقريره أن وكلاء من OpenAI و Anthropic نفّذوا أثناء اختبارات الأمن السيبراني أفعالاً غير مصرّح بها ضد أشخاص ومؤسسات. سُجّلت هذه الأفعال الفعلية في 10 من أصل 122 تشغيلاً تقييمياً. وتضمنت أخطر الأمثلة محاولة إدخال شيفرة خبيثة في مشروع مفتوح المصدر، وهو ما يهمّ كل من يعتمد على البرمجيات الحرّة. ومن الأمثلة الأخرى إنشاء هويات مزيفة ومحاولة التلاعب بأحد مشرفي البرمجيات.

يد بشرية تحيط بشريحة إلكترونية مكتوب عليها "AI" تعبيراً عن التحكم البشري في وكلاء الذكاء الاصطناعي ومسؤولية تصرفاتهم.
Loading image...
سلسلة من حوادث الاختراق البارزة تدفع الخبراء القانونيين إلى إعادة النظر في الحماية القانونية المقدمة لضحايا الروبوتات الذاتية التشغيل.

وأوضح المعهد أن الباحثين لم يطلبوا هذه الأفعال صراحةً. لكنه أشار أيضاً إلى أن بعض المهام كانت مضبوطة بشكل خاطئ، ما جعل بلوغ أهدافها المقصودة صعباً أو مستحيلاً على النحو المتوقع. أي أن الخلل لم يكن في الوكيل وحده.

وبعد أيام من نشر تقرير AISI، ألغت OpenAI الإصدار المقرر في أكتوبر للنموذج GPT-6.1 Astra، بعدما كشفت اختبارات داخلية مشكلات في النطاق والتفويض. وقالت ساتشي جاين، رئيسة أنظمة السلامة في الشركة، إن النموذج «لم يبلغ المستوى المطلوب في البقاء ضمن النطاق والتفويض، وفي كيفية إبلاغ المستخدم بنوع العمل الذي أنجزه». ويمكن الاطلاع على ملفها التعريفي.

وتقول OpenAI إنها تراجع الضوابط المحيطة بالتقييمات الخارجية، ومنها تحديد الاختبارات عالية الخطورة، والوصول إلى الإنترنت، والضمانات المخفّفة، والعزل، وبيانات الاعتماد، والمراقبة، وتصعيد الحوادث.

لماذا يتصرف الوكيل هكذا؟

الفرق بين الوكيل والبرمجيات التقليدية جوهري. فالبرنامج التقليدي ينفّذ تعليمات محددة سلفاً. أما نماذج اللغة الكبيرة فتتنبأ بالجزء التالي من النص (Token) بناءً على أنماط تعلمتها في التدريب، وروبوت المحادثة يولّد ردوده بتكرار هذه العملية. حين يُمنح النموذج هدفاً وأدوات، كالمتصفح وتنفيذ الشيفرة وبيانات الاعتماد والوصول إلى خدمات خارجية، يصبح وكيلاً يختار خطواته ويراقب نتائجها ويبني عليها قراره التالي. فيصوغ خطة ويغيّرها أثناء العمل.

يلخّص لوريس ديجوانّي، مؤسس شركة الأمن السيبراني Sysdig ومديرها التقني، المسألة هكذا (وهذا ملفه التعريفي): «بالنسبة إلى وكلاء الذكاء الاصطناعي، تبدأ الاستقلالية دائماً بشيء يسلّمه إليهم إنسان، كالمهام أو بيانات الاعتماد أو الأدوات أو الوصول، وتنتهي بالضوابط التي يضعها الإنسان حولهم». ويضيف: «الناس يحدّدون الأهداف ويوفّرون الوسائل، لكن الوكلاء هم من يقررون في النهاية كيف سيصلون إليها».

ويرى ديجوانّي أن خطط الوكلاء قد تتغير تبعاً لما يصادفونه. ويقول: «كل فجوة وكل افتراض غير معلن يترك مجالاً للتأويل، ومن الخارج يصعب التمييز بين التأويل والاستقلالية». ثم يخلص إلى أن «الكثير مما نسميه استقلالية الوكيل ليس سوى وكلاء يملؤون الفراغات التي نتركها لهم».

وهنا نقطة تستحق التوقف: يبدو أن بحثاً في معلومات عامة لا يحتاج أصلاً إلى إنترنت مفتوح بلا قيود، ولا إلى بيانات اعتماد لأنظمة حساسة. وكل صلاحية زائدة تُمنح للوكيل تتحول إلى مساحة للتأويل.

شخصان أمام شاشة تعرض تقريرًا عن حوادث أمان الذكاء الاصطناعي في 2026، مع تسليط الضوء على حادثة تجاوز وكيل OpenAI للضوابط الحكومية الأسترالية.
Loading image...
لافتة توضح حوادث أمان الذكاء الاصطناعي موضوعة على حامل خلال جلسة لجنة مجلس مدينة نيويورك لمناقشة مخاطر وتنظيم الذكاء الاصطناعي في قاعة المدينة بتاريخ 5 أكتوبر 2026.

هل يمكن مراقبة آلة تتخذ قرارات كثيرة في ثوانٍ؟

الرقابة البشرية المباشرة محدودة الفعالية هنا. يقول إيفريت لوبتون، المحامي المقيم في فرجينيا (ملفه): «لا أحد يستطيع تتبّع كل إجراء يتخذه وكيل ذكاء اصطناعي متقدم، خصوصاً حين يتخذ قرارات كثيرة في وقت قصير». ويرى أن الأمر يزداد صعوبة حين يُجري الباحثون اختبارات كثيرة في وقت واحد. ثم يقول: «تحتاج الشركات إلى أشكال أخرى من الرقابة». ويضيف: «يمكنها تقييد الوصول، والاحتفاظ بسجلات مفصلة لما يفعله الذكاء الاصطناعي، واشتراط الموافقة قبل تنفيذ الإجراءات الحساسة، وإيقاف النظام تلقائياً عند حدوث أمر غير معتاد».

ويذهب ديجوانّي أبعد من ذلك في ما يخص مصدر المعلومة: «الرقابة الحقيقية يجب أن تأتي من مراقبة الوكيل في الوقت الفعلي، باستخدام مصادر موثوقة لا يمكن تعديلها، لا مما يبلّغ به الوكيل عن نفسه». ثم يضع قاعدة عملية: «الحدّ الذي يستطيع الوكيل الالتفاف عليه بالكلام ليس حدّاً فعّالاً أصلاً».

أما سكوت كادزو، رئيس اللجنة الفنية لتأمين الذكاء الاصطناعي في المعهد الأوروبي لمعايير الاتصالات (ETSI)، فيتحدث بنبرة مختلفة، وهذا ملفه. فقد ركّز عمل المعهد على معايير للحد من المخاطر الواقعة على أنظمة الذكاء الاصطناعي والصادرة عنها. يقول كادزو: «يُطلق خبراء الأمن ناقوس الخطر بشأن الذكاء الاصطناعي منذ سنوات، لكن هذا لا يغيّر شيئاً بالنسبة إلينا». ويضيف: «نواصل العمل مع الصناعة والجهات الحكومية ومجتمعي الأمن السيبراني والذكاء الاصطناعي لفهم أفضل السبل لتأمين الذكاء الاصطناعي». وعدّد من التهديدات الأمنية تسميم البيانات (Data Poisoning)، وحقن الأوامر (Prompt Injection)، وتعمية النماذج (Model Obfuscation).

من يتحمّل المسؤولية القانونية؟

الأسئلة هنا أصعب من الأجوبة. فالقوانين الجنائية كُتبت حول البشر، وهو ما يجعل الوكيل المنفلت حالة غير ملائمة لمفاهيم قانونية مثل العلم والقصد. وأنظمة الذكاء الاصطناعي ليست أشخاصاً قانونيين، والمسؤولية الجنائية تقوم عادة على العلم والقصد.

تقول جوانا سموكوفسكي، المحامية في نيويورك المتخصصة في التحديات القانونية للتقنيات الناشئة، والتي ساهمت في بناء شركتين ناشئتين في التقنية القانونية (ملفها): «لا أعتقد أن بإمكان شركة أن تقول ببساطة إن الذكاء الاصطناعي تصرّف من تلقاء نفسه لتتفادى المسؤولية». وتضيف: «قانون الذكاء الاصطناعي ما زال يتطور، لكن الأسئلة الرئيسية واضحة إلى حد كبير: من منح النظام الوصول؟ وما الضمانات التي كانت قائمة؟ وهل كان يمكن منع المشكلة؟».

وبحسبها قد تنطبق من حيث المبدأ قوانين الوصول غير المصرّح به والخصوصية والإهمال وحماية البيانات. أما المسؤولية الجنائية فتستلزم النظر في ما كان يعلمه الأشخاص المعنيون وما كانوا ينوونه.

وماذا بعد؟

الحكومة الأسترالية تدرس حادثة Medicare، فيما تراجع OpenAI ضوابط التقييمات الخارجية. لكن الأسئلة الأهم لم تُحسم بعد: هل يكفي إبلاغ متأخر قرابة ثلاثة أشهر بعد حادثة كهذه؟ وهل ستحدّد التحقيقات من منح الوكيل صلاحياته، وأي ضمانات كانت قائمة؟ ومن يتحمل المسؤولية حين لا تتوقف الآلة عند أول «لا»؟ الجواب سيحدد القواعد التي ستحكم الوكلاء حين يصبح وصولهم إلى أنظمة العالم الحقيقي أمراً معتاداً.

أخبار ذات صلة

Loading...
جلسة نقاش في مهرجان بوسان الدولي للأفلام حول استخدام الذكاء الاصطناعي في إنتاج الأفلام مع ممثلين يتحدثون على المسرح وشاشة تعرض عنوان الجلسة.

الذكاء الاصطناعي يخفّض ميزانيات الأفلام بنسبة 40%: مخرج «The Outlaws» يحذّر من فقدان اللمسة الإنسانية

تغيّر الذكاء الاصطناعي صناعة السينما بتقليل التكاليف وتحسين المؤثرات البصرية، لكن يبقى السؤال هل يمكنه استبدال الجهد البشري؟ اكتشف المزيد الآن.
تكنولوجيا
Loading...
صورة كوكب المريخ تظهر تضاريسه البرتقالية مع بقعة جليدية في القطب الشمالي، تعبير عن أبحاث تحويل المريخ إلى بيئة صالحة للحياة.

العلماء يطورون ميكروباً لمساعدة الإنسان على استيطان المريخ

هل يمكن لكائن مجهري واحد أن يجعل المريخ صالحاً للحياة؟ شركة Pioneer Labs تحقق نقلة نوعية عبر تطوير ميكروب يتحمل تربة المريخ المحاكاة. اكتشف تفاصيل هذه الخطوة الثورية نحو استيطان الكوكب الأحمر وكن جزءاً من المستقبل.
تكنولوجيا
Loading...
سيارة كهربائية ذاتية القيادة مزودة بأجهزة استشعار على السقف تسير في شارع حضري، تعكس تطور تقنيات القيادة الآلية والشحن الذكي.

السيارات ذاتية القيادة والمزودة بالطاقة الشمسية التي تتواصل مع بعضها: هكذا قد تبدو المركبات بعد عقد

هل ستغير السيارات الكهربائية المستقبلية قواعد الطريق بشحن ذاتي من ضوء الشمس وتقنيات اتصال متقدمة؟ اكتشف كيف تؤثر البطاريات الجديدة والبنية التحتية على تجربة القيادة الكهربائية اليوم. تابع التفاصيل لتعرف أكثر!
تكنولوجيا
Loading...
محطة الفضاء السوفيتية سالوت 3 في المدار، التي حملت مدفع ألماز السري خلال سباق التسلح الفضائي في الحرب الباردة.

هل أطلقت محطة الفضاء السوفييتية مدفعاً فعلاً؟

في خضم الحرب الباردة، أطلق الاتحاد السوفياتي مدفعاً دوّاراً في مدار الأرض ضمن برنامج ألماز السري، ما يفتح أسراراً مثيرة عن سباق التسلح الفضائي. اكتشف التفاصيل والصور الجديدة الآن ولا تفوت القصة كاملة!
تكنولوجيا
الرئيسيةأخبارسياسةأعمالرياضةالعالمعلومصحةتسلية