التسوية النهائية للدعوى الجماعية بشأن التمييز المرتبط بالذكاء الاصطناعي

تحوّلت حماسة ماري لويس للانتقال إلى شقة في ماساتشوستس في ربيع عام 2021 إلى فزع عندما تلقت لويس، وهي امرأة سوداء، رسالة إلكترونية تفيد بأن "خدمة طرف ثالث" رفضت إيجارها.

تضمنت خدمة الطرف الثالث تلك خوارزمية مصممة لتسجيل المتقدمين للإيجار، والتي أصبحت موضوع دعوى قضائية جماعية، وكانت لويس على رأسها، زاعمة أن الخوارزمية تميز على أساس العرق والدخل.

وافق قاضٍ فيدرالي على تسوية في الدعوى القضائية، وهي الأولى من نوعها، يوم الأربعاء، حيث وافقت الشركة التي تقف وراء الخوارزمية على دفع أكثر من 2.2 مليون دولار والتراجع عن بعض أجزاء منتجات الفحص التي زعمت الدعوى أنها تمييزية.

لا تتضمن التسوية أي اعتراف بالخطأ من قبل شركة SafeRent Solutions، التي قالت في بيان لها إنه في حين أنها "لا تزال تعتقد أن نظام SRS يمتثل لجميع القوانين المعمول بها، فإن التقاضي يستغرق وقتًا طويلاً ومكلفًا".

على الرغم من أن مثل هذه الدعاوى القضائية قد تكون جديدة نسبيًا، إلا أن استخدام الخوارزميات أو برامج الذكاء الاصطناعي لفحص أو تسجيل الأمريكيين ليس كذلك. فعلى مدار سنوات، كان الذكاء الاصطناعي يساعد بشكل خفي في اتخاذ قرارات مهمة لسكان الولايات المتحدة.

عندما يقدم شخص ما طلب وظيفة، أو يتقدم بطلب للحصول على قرض عقاري أو حتى يسعى للحصول على رعاية طبية معينة، فهناك احتمال أن يكون هناك نظام أو خوارزمية ذكاء اصطناعي تقوم بتقييمه أو تقييمه كما فعلت لويس. ومع ذلك، فإن أنظمة الذكاء الاصطناعي هذه غير منظمة إلى حد كبير، على الرغم من أنه قد وُجد أن بعضها يقوم بالتمييز.

يقول تود كابلان، أحد محامي لويس: "على شركات الإدارة وأصحاب العقارات أن يعرفوا أنهم الآن على علم بأن هذه الأنظمة التي يفترضون أنها موثوقة وجيدة سيتم تحديها".

وزعمت الدعوى القضائية أن خوارزمية SafeRent لم تأخذ في الاعتبار مزايا قسائم الإسكان، والتي قالوا إنها كانت تفصيلاً مهمًا لقدرة المستأجر على دفع الفاتورة الشهرية، وبالتالي فقد ميزت ضد المتقدمين ذوي الدخل المنخفض المؤهلين للحصول على المساعدات.

كما اتهمت الدعوى أيضًا خوارزمية SafeRent بالاعتماد كثيرًا على المعلومات الائتمانية. وجادلوا بأنها تفشل في إعطاء صورة كاملة عن قدرة مقدم الطلب على دفع الإيجار في الوقت المحدد، وتظلم المتقدمين بقسائم الإسكان من السود وذوي الأصول الإسبانية جزئياً لأن متوسط درجاتهم الائتمانية أقل، وهو ما يعزى إلى عدم المساواة التاريخية.

قالت كريستين ويبر، إحدى محاميات المدعي، إنه لمجرد أن الخوارزمية أو الذكاء الاصطناعي غير مبرمج للتمييز، فإن البيانات التي تستخدمها الخوارزمية أو ترجحها، يمكن أن يكون لها "نفس التأثير كما لو أنك طلبت منها التمييز عمدًا".

عندما تم رفض طلب لويس، حاولت استئناف القرار، فأرسلت اثنين من ملاك العقارات لإثبات أنها دفعت الإيجار في وقت مبكر أو في الوقت المحدد لمدة 16 عامًا، حتى لو لم يكن لديها تاريخ ائتماني قوي.

كانت لويس، التي كان لديها قسيمة سكن، تتدافع، بعد أن أعطت بالفعل إشعارًا لمالكها السابق بأنها ستنتقل من المنزل، وكانت مكلفة برعاية حفيدتها.

وجاء رد شركة الإدارة، التي استخدمت خدمة الفحص التي تقدمها SafeRent، كما يلي: "نحن لا نقبل الطعون ولا يمكننا إلغاء نتيجة فحص المستأجر".

شعرت لويس بالهزيمة؛ وقالت إن الخوارزمية لم تكن تعرفها.

"كل شيء يعتمد على الأرقام. لا يمكنك الحصول على التعاطف الفردي منها". "لا يمكن التغلب على النظام. النظام سيهزمنا دائمًا."

في حين اقترح المشرعون في الولاية لوائح صارمة لهذه الأنواع من أنظمة الذكاء الاصطناعي، فشلت المقترحات إلى حد كبير في الحصول على الدعم الكافي. وهذا يعني أن الدعاوى القضائية مثل دعوى لويس بدأت في وضع الأساس لمساءلة الذكاء الاصطناعي.

وقد جادل محامو الدفاع عن شركة SafeRent في طلب رفض الدعوى بأنه لا ينبغي تحميل الشركة المسؤولية عن التمييز لأن SafeRent لم تكن تتخذ القرار النهائي بشأن قبول أو رفض المستأجر. كانت الخدمة تفحص المتقدمين وتقيّمهم وتقدم تقريراً عنهم، ولكنها تترك الأمر لأصحاب العقارات أو شركات الإدارة لقبول المستأجر أو رفضه.

وقد جادل محامو لويس، إلى جانب وزارة العدل الأمريكية، التي قدمت بيانًا بالمصلحة في القضية، بأن خوارزمية SafeRent يمكن أن تخضع للمساءلة لأنها لا تزال تلعب دورًا في الحصول على السكن. رفض القاضي طلب SafeRent برفض هذه التهم.

تنص التسوية على أنه لا يمكن لشركة SafeRent تضمين خاصية نقاطها في تقارير فحص المستأجرين في حالات معينة، بما في ذلك إذا كان مقدم الطلب يستخدم قسيمة إسكان. وتتطلب أيضًا أنه إذا طورت SafeRent درجة فحص أخرى تخطط لاستخدامها، فيجب أن يتم التحقق من صحتها من قبل طرف ثالث يوافق عليه المدعون.

وجد ابن لويس شقة بأسعار معقولة لها على Facebook Marketplace وانتقلت إليها منذ ذلك الحين، على الرغم من أنها كانت أغلى بـ 200 دولار وفي منطقة أقل رغبة.

تقول لويس: "أنا لست متفائلة بأنني سأحصل على فرصة عمل، ولكن يجب أن أستمر في الاستمرار، هذا كل ما في الأمر". "لديّ الكثير من الأشخاص الذين يعتمدون عليّ."