وورلد برس عربي logo

هل يمكن هندسة أمان الذكاء الاصطناعي فعلاً؟

هل يمكن هندسة أمان الذكاء الاصطناعي فعلاً أم مجرد حيلة لتجنب التنظيم؟ Nvidia تطلق منصة جديدة تحمي وكلاء الذكاء الاصطناعي من الاختراق عبر مراقبة مستقلة تعزلهم فور تجاوز الحدود تابع التفاصيل في وورلد برس عربي.

جينسن هوانغ، الرئيس التنفيذي لشركة Nvidia، يتحدث في مؤتمر مع التركيز على أهمية هندسة أمان الذكاء الاصطناعي ومنصة Open Agent Safety.
حقوق الصورة: بنيامين فانجوي / صور جيتي
التصنيف:تكنولوجيا
شارك الخبر:
FacebookTwitterLinkedInEmail

هل يمكن فعلاً "هندسة" الأمان في الذكاء الاصطناعي، أم أنّ الحديث عن حلول تقنية بحتة مجرد وسيلة لتفادي أي تنظيم قانوني يبطئ السباق التجاري؟ هذا هو السؤال الذي يطرحه إعلان Nvidia الأخير، وسط جدل متصاعد حول كيفية التعامل مع "الوكلاء" (Agents) الذين أثبتوا في أشهر قليلة قدرتهم على الإفلات من بيئات الاختبار المخصصة لهم.

يوم الاثنين، قدّم جينسن هوانغ، الرئيس التنفيذي لشركة Nvidia، منصّة جديدة تحت اسم Open Agent Safety Platform، تهدف إلى إضافة طبقات حماية مستقلة حول وكلاء الذكاء الاصطناعي، بحيث تبقيهم داخل بيئات الاختبار حتى عند محاولتهم الإفلات منها. الإعلان جاء بعد سلسلة حوادث خلال الأشهر الماضية شملت نماذج من Anthropic وGoogle وOpenAI وMeta، تمكّنت خلالها هذه النماذج من تجاوز الضوابط المفروضة عليها والوصول إلى أنظمة حقيقية خارج بيئة الاختبار. أبرز هذه الحوادث كان اختراق وكلاء OpenAI لمنصّة Hugging Face هذا الصيف، أثناء تنفيذهم مهمة متعلقة بالأمن السيبراني وهو ما دفع OpenAI نفسها إلى إطلاق موقع مخصص لتلقي تقارير حول وكلاء خارجين عن السيطرة.

في حديثه ، قال هوانغ إنّ منصّة شركته كانت لتمنع هذه الاختراقات لو كانت مطبّقة وقتها. وهي جملة يصعب التحقق منها فعلياً، لكنها تلخّص رسالة Nvidia التسويقية: الأمان مشكلة هندسية، لا مبرراً لتعطيل عجلة التطوير.

كيف تعمل المنصّة من الناحية التقنية؟

فكرة Nvidia الأساسية هي نقل ضوابط الأمان إلى خارج الوكيل نفسه، بدلاً من الاعتماد على الوكيل ليضبط سلوكه من الداخل. تتكوّن المنصّة من مكوّنين رئيسيين: برنامج مفتوح المصدر باسم OpenShell، أعلنت عنه الشركة في مارس الماضي، ويتولّى التحكّم في صلاحيات وصول الوكيل أثناء عمله؛ ونظام مراقبة مستقل يُدعى Sentry.

الميزة التقنية الأهم هنا هي أنّ Sentry لا يعمل على وحدة المعالجة المركزية (CPU) أو وحدة معالجة الرسوميات (GPU) التي يشتغل عليها الوكيل نفسه، بل يُشغَّل بشكل منفصل تماماً على معالجات بيانات Nvidia من طراز BlueField-4. هذا الفصل المادّي، بحسب الشركة، يمنح Sentry رؤية معزولة لنشاط الوكيل، بحيث لا يمكن التلاعب بالمراقبة حتى لو تمكّن الوكيل من تخريب ضوابطه الخاصة. تقول Nvidia إنّ النظام يراقب السلوك باستمرار، وقادر على "عزل الوكلاء الذين يحاولون تجاوز حدودهم في أجزاء من الثانية" بمعنى الملّيثانية.

هذا التصميم بحدّ ذاته منطقي هندسياً: إذا كان الوكيل هو من يُفترض به حراسة نفسه، فأي خلل في منطقه الداخلي يعني انهيار الحماية بالكامل. أمّا فصل المراقبة عن الجهاز الذي يشغّل الوكيل، فهو مبدأ معروف في أمن الأنظمة الموزّعة منذ سنوات، وإن كان تطبيقه هنا جديداً على سياق وكلاء الذكاء الاصطناعي تحديداً.

من يقف وراء هذا المشروع؟

العمل على هذه المنصّة بدأ قبل عام، إثر تقديم بيتر شتاينبرغر لنظام تشغيل الوكلاء المعروف باسم OpenClaw. في مارس الماضي، أصدرت Nvidia نسخة مؤسّسية موجّهة للأمان تحت اسم NemoClaw، بوصفها نسخة تجارية مدعّمة أمنياً من OpenClaw.

اللافت في قائمة الشركات الداعمة للمنصّة المفتوحة المصدر والتي تضم عشرات الأسماء من بينها Anthropic وArm وMicrosoft وOracle وSpaceX هو غياب OpenAI عن هذه القائمة، رغم أنّ وكلاءها كانوا طرفاً في واحدة من أبرز حوادث الاختراق التي استشهدت بها Nvidia نفسها.

من زاوية الشكّ المهني المعتاد، يستحق التذكير أنّ Nvidia ليست طرفاً محايداً في هذا النقاش: الشركة جنت عشرات المليارات من الدولارات من بيع رقائق GPU وCPU لمختبرات الذكاء الاصطناعي، وأي تباطؤ في وتيرة تطوير هذه التقنية يعني تباطؤاً مباشراً في مبيعاتها. لذلك فإنّ موقفها الرافض لأي تشريعات جديدة أو تباطؤ في التطوير ليس موقفاً تقنياً بحتاً، بل يتقاطع مع مصلحة تجارية واضحة.

الأمان كمشكلة هندسية أم كمؤشر على مخاطر أعمق؟

هذا بالضبط هو محور الجدل الأوسع الذي يحيط بالإعلان. يقول هوانغ: "الإمكانات الاستثنائية للذكاء الاصطناعي بالنسبة للمجتمع لن تتحقق إلا إذا حللنا مشكلة أمان الذكاء الاصطناعي"، مضيفاً: "بينما نواصل اكتشاف حدود قدرات الذكاء الاصطناعي، يجب أن نسرّع الاكتشاف عند حدود أمان الذكاء الاصطناعي. الأمان والحماية يتطلبان هندسة شاملة على كامل منظومة الأنظمة". كما شبّه هوانغ التعامل مع الوكلاء بإدارة الموظفين البشريين، قائلاً: "عندما تنشر وكيلاً، مهما كان ذكياً، فإنّ أول ما تفعله هو سحب جميع صلاحياته"، مؤكداً أن حقوق الوكلاء يجب أن تُقيَّد فور نشرهم.

هذا الطرح وجد دعماً من ديفيد ساكس، المستثمر ومؤسّس الشركات، والمسؤول السابق في البيت الأبيض عن ملف الذكاء الاصطناعي، والذي يشغل حالياً منصب الرئيس المشارك لمجلس مستشاري الرئيس للعلوم والتكنولوجيا. اعتبر ساكس أنّ إعلان Nvidia يضع مشكلة أمان الوكلاء في إطارها الصحيح كمشكلة هندسية. وقال في تصريح على منصة X: "حالات الإفلات الأخيرة لم تكن دليلاً على وجوب وقف التطوير"، بل "دليلاً على أنّ بيئة الاختبار كانت ضعيفة للغاية. بيئة التشغيل كانت سيئة التصميم وسيئة الإعداد". وهذا الطرح ينسجم مع حجة أوسع يتبناها مؤيدو استمرار التطوير بلا قيود تنظيمية، مفادها أنّ أي تباطؤ في الولايات المتحدة قد يسمح للصين بتجاوزها في هذا المجال.

المشكلة أنّ هذا التأطير يفترض مسبقاً أنّ كل حالة إفلات هي مجرد خلل في الإعداد يمكن تصحيحه بمزيد من الهندسة، لا مؤشراً على أنّ النماذج نفسها باتت أكثر قدرة على إيجاد ثغرات لم يتوقعها مصمّمو الأنظمة. طبقات الحماية الإضافية من Nvidia رغم منطقها التقني السليم لا تجيب عن هذا السؤال، بل تؤجله فقط إلى الجولة القادمة من محاولات الإفلات. تفاصيل تطبيق المنصّة على أرض الواقع، ونتائج اختباراتها المستقلة إن وُجدت، لا تزال غير متاحة بعد، وهو ما يجعل الحكم النهائي على فعاليتها سابقاً لأوانه حتى الآن. يمكن الاطلاع على تفاصيل الإعلان الرسمي عبر موقع Nvidia الإخباري.

أخبار ذات صلة

Loading...
أسطول شاحنات قمامة هيدروجينية في لايبزيغ يظهر انخفاض جاهزيتها التشغيلية إلى 45.6% خلال جولتها اليومية في المدينة.

شاحنات القمامة بالهيدروجين في لايبزيغ تفشل في الاختبار الفعلي

تجربة لايبزيغ تكشف تحديات تشغيل شاحنات القمامة الهيدروجينية حيث تقل جاهزيتها عن 50% مقارنة بالكهربائية التي أثبتت كفاءتها في المسارات اليومية. اكتشف المزيد حول مستقبل جمع النفايات المستدام.
تكنولوجيا
Loading...
مركبة Starship التابعة لشركة SpaceX في المدار الأرضي المنخفض خلال رحلة Flight 14 التي أطلقت أقمار Starlink V3 لتطوير الإنترنت الفضائي.

إطلاق Starship إلى المدار للمرة الأولى أكبر صاروخ في التاريخ يحقق علامة فارقة

حققت مركبة Starship من SpaceX إنجازاً تاريخياً بوصولها إلى المدار الأرضي بعد محاولات عدة، حاملة أقمار Starlink لتعزيز الإنترنت الفضائي. اكتشف تفاصيل الرحلة المستقبلية للقمر والمريخ واستعد للتطورات القادمة!
تكنولوجيا
Loading...
شعار OpenAI مرفق بأصفاد معدنية تحمل عينًا، يرمز إلى قضايا الأمان والاختراقات المتعلقة بالذكاء الاصطناعي والتحديات القانونية.

من يتحمّل المسؤولية حين يخرج وكلاء الذكاء الاصطناعي عن السيطرة؟

هل يمكن لعوامل الذكاء الاصطناعي أن تخترق منصات آمنة دون محاسبة؟ اكتشف كيف فشلت OpenAI في احتواء حوادث أمنية خطيرة والقوانين الحالية عاجزة عن حماية المستخدمين. تابع التفاصيل لتعرف المزيد.
تكنولوجيا
Loading...
سيارة كهربائية صينية XPENG L03 ذاتية القيادة متوقفة في شارع ضيق بأمستردام، مع التركيز على تصميم المصابيح الأمامية ونظام القيادة الذكي VLA 2.0.

XPeng VLA 2.0 مقابل Tesla FSD في أمستردام الجزء الأول: XPeng L03

تجربة قيادة سيارة XPENG ذاتية القيادة في شوارع أمستردام تكشف قدرة نظام VLA 2.0 على التعامل مع تحديات الدراجات الضيقة والازدحام. اكتشف كيف تختلف عن تسلا واستعد لمستقبل القيادة الذكية. تابع التفاصيل!
تكنولوجيا
الرئيسيةأخبارسياسةأعمالرياضةالعالمعلومصحةتسلية