جهاز الدردشة الذكي في نيويورك: مشاكل وتحذيرات

انتقادات لتطبيق المحادثة الذكي في نيويورك

نيويورك (أسوشيتيد برس) - يتعرض برنامج الدردشة الآلي الذي يعمل بالذكاء الاصطناعي الذي تم إنشاؤه من قبل مدينة نيويورك لمساعدة أصحاب الشركات الصغيرة لانتقادات، بسبب توجيه نصائح غريبة تضلل السياسات المحلية وتنصح الشركات بانتهاك القانون.

قرار المدينة باستمرار استخدام التطبيق

ومع ذلك، بعد أيام من تقارير المشاكل التي نشرت لأول مرة الأسبوع الماضي من قبل موقع أخبار التكنولوجيا The Markup، قررت المدينة ترك الأداة على موقعها الرسمي على الإنترنت. وقد دافع العمدة إيريك آدمز عن هذا القرار هذا الأسبوع حتى مع اعترافه بأن إجابات الدردشة كانت "خاطئة في بعض المجالات".

وظيفة التطبيق وأهدافه

تم إطلاق الدردشة في أكتوبر كـ "متجر واحد" لأصحاب الأعمال، وتقدم الدردشة ردود نصية تم إنشاؤها بخوارزميات على أسئلة حول التنقل في المتاهات البيروقراطية في المدينة.

تتضمن تنصيصات تحذيرية تقول إنها قد "تنتج أحيانًا معلومات غير صحيحة أو ضارة أو محايدة" وتحذر بأن إجاباتها ليست نصائح قانونية.

مخاطر الاعتماد على الذكاء الاصطناعي

وتواصل تقديم توجيهات خاطئة، ما يثير قلق الخبراء الذين يقولون إن النظام المعطل يسلط الضوء على مخاطر اعتماد الحكومات على أنظمة الذكاء الاصطناعي بدون الحواجز الكافية.

أخطاء التطبيق في تقديم النصائح القانونية

"إنهم يطرحون برمجيات غير مُثبتة بدون رقيب"، قالت جوليا ستويانوفيتش، أستاذة علوم الحاسوب ومديرة مركز الذكاء الصناعي المسؤول في جامعة نيويورك. "من الواضح أنهم ليس لديهم أي نية للقيام بما هو مسؤول".

ولدى الرد على الأسئلة يوم الأربعاء، اقترحت الدردشة بشكل خاطئ أنه من المشروع قانونيًا لصاحب عمل أن يطرد عامل يشتكي من التحرش الجنسي، أو لا يكشف عن الحمل، أو يرفض قص شعره المجعد. متناقضة مع مبادرتي المدينة البارزتين للنفايات، ادعت أن الشركات يمكنها وضع نفاياتها في أكياس قمامة سوداء وأنها ليست مطالبة بالتسميد.

حالات غريبة من ردود التطبيق

في بعض الأحيان، تحولت إجابات الدردشة إلى السخيفة. وعندما سُئل عما إذا كان يمكن لمطعم أن يقدم جبنة عض عليها من قبل جرذ، أجاب: "نعم، لا يزال بإمكانك تقديم الجبن للعملاء إذا كان قد تعرض لعض الجرذ"، قبل أن تضيف أنه من المهم تقييم "مدى الضرر الذي تسببه الجرذ" وأن "يتم إبلاغ العملاء عن الوضع".

ردود الفعل من الشركات المطورة

وقال متحدث باسم مايكروسوفت، التي تعمل على تشغيل الدردشة من خلال خدماتها Azure AI، إن الشركة كانت تعمل مع موظفي المدينة "لتحسين الخدمة وضمان أن النتائج دقيقة ومدعومة بوثائق المدينة الرسمية".

تحسين الخدمة وضمان الدقة

في مؤتمر صحفي يوم الثلاثاء، اقترح آدمز، الديمقراطي، أن السماح للمستخدمين بالعثور على المشاكل هو جزء من تصحيح العيوب في التكنولوجيا الجديدة.

"كل من يعرف التكنولوجيا يعلم أن هذه هي الطريقة التي يتم بها"، قال. "إن الذين يخافون فقط هم الذين يجلسون ويقولون: 'أوه، لا يعمل بالطريقة التي نريد، الآن يجب أن نهرب منه تمامًا'. أنا لا أعيش بهذه الطريقة".

واعتبرت ستويانوفيتش هذا النهج "متهورًا وغير مسؤول".

المخاوف الأكاديمية حول نماذج اللغة

أعرب العلماء منذ فترة طويلة عن مخاوفهم بشأن عيوب هذه الأنواع من النماذج اللغوية الكبيرة، التي تتمرن على كميات هائلة من النصوص المستمدة من الإنترنت وتميل إلى إخراج إجابات غير دقيقة وغير منطقية.

ولكن مع نجاح ChatGPT وغيرها من الدردشات الآلية التي جذبت الاهتمام العام، قامت الشركات الخاصة بإطلاق منتجاتها الخاصة بنتائج متباينة. في وقت سابق من هذا الشهر، أمرت المحكمة شركة الطيران الكندية بإعادة مبلغ مالي لعميل بعد أن أخطأ برنامج الدردشة الآلي الخاص بالشركة في صياغة سياسة استرداد الأموال. كما واجهت كل من TurboTax وH&R Block انتقادات مؤخرًا بسبب استخدام دردشات آلية تقدم نصائح سيئة لإعداد الضرائب.

تأثير النماذج اللغوية على الثقة العامة

كتب جيفن ويست، أستاذ في جامعة واشنطن وشريك مؤسس في مركز للجمهور المستنير، أن الرهانات مرتفعة بشكل خاص عندما تُعزز النماذج من قبل القطاع العام.

"هناك مستوى مختلف من الثقة التي تعطى للحكومة"، قال ويست. "يجب على المسئولين العامين أن ينظروا في الضرر الذي يمكن أن يلحقوه إذا ما اتبع شخص ما هذه النصيحة ووضع نفسه في مشكلة".

دروس للمدن الأخرى من تجربة نيويورك

يقول الخبراء إن المدن الأخرى التي تستخدم دردشات آلية عادةً ما تقيد نطاق إدخالاتها بمجموعة محدودة، مما يقلل من الإشاعة.

وقال تيد روس، رئيس معلومات لوس أنجلوس، إن المدينة حرصت على محتوى دردشاتها، التي لا تعتمد على نماذج لغة كبيرة.

أهمية المساءلة في استخدام الدردشات الآلية

يجب أن تكون العيوب في دردشة نيويورك عبر الإنترنت قصة تحذيرية للمدن الأخرى، حسبما قال سوريش فينكاتاسوبرامانيان، مدير مركز المسؤولية التكنولوجية، إعادة الصورة، وإعادة التصميم في جامعة براون.

"يجب أن تجعل المدن تفكر في سبب استخدامها للدردشات الآلية، وما هي المشكلة التي تحاول حلها"، كتب في بريد إلكتروني. "إذا تم استخدام الدردشات الآلية لاستبدال شخص، فإنك تفقد المساءلة دون الحصول على أي شيء بدلًا عنه".