عنصرية الذكاء الصناعي!.. ماذا لو كانت خوارزميات التوظيف ترفضك لأنك عربي أو أسود؟

"يظن الجميع أن الخوارزميات موضوعية وصحيحة وعلمية، هذه خدعة تسويقية".

(كاثي أونيل)

كايل هو شاب هادئ الطباع، وسيم الشكل، ستميل إلى الشعور بالراحة أثناء حديث قصير معه، خلال وجوده بمدينة أتلانتا الأميركية لإتمام دراسته الجامعية قرّر أن يعمل ليتحمل جزءا من مسؤوليته تجاه مصاريف الدراسة الخاصة به، فتقدّم للعمل في إحدى أكبر سلاسل البيع بالتجزئة هناك وهي محلات كروجرز، في مقر الشركة الرئيسي طُلب منه أن يخضع لاختبار شخصية بسيط مكوّن من عدة عشرات من الأسئلة، وبعد عدة أسابيع من تقديم أوراقه أتاه رفض الشركة.

 

في الغالب، فإن ما يحدث في حالة كهذه هو أنك تبحث عن عمل آخر وانتهى الأمر، وكان كايل بالفعل يتجهز لذلك غير آبهٍ بما حدث، لكن والده(1) الذي يعمل محاميا، السيد بيم، كان في غاية الحيرة، إنها فقط محال تجارة بالتجزئة، ما الذي يمكن أن يكون معقدا في هذا العمل بحيث لا يمكن لكايل أن يتحمله؟! هنا يسأل السيد بيم ابنه عن طبيعة هذا الاختبار الذي خضع له، فيجيب كايل أنها تشبه الأسئلة التي كان يجيب عنها في المستشفى بينما كان يتلقّى علاجا للاضطراب ثنائي القطب.

 

إن القوانين الأميركية -وحول العالم- تمنع أن تُستخدم اختبارات الصحة العقلية في اختيار المتقدمين للوظائف، حينما قرّر السيد بيم وولده التقديم في شركات أخرى كبيرة وجدا اختبارات شبيهة، بل ويمكن لك أن تجد اختبارات من هذا النوع في شركات مثل راديو شاك أو ماكدونالدز، هنا قد تسأل: هل قصدت تلك الشركات أن تُنحّي جانبا فئة محددة من الناس -أصحاب الاضطراب النفسي- من العمل بها؟

في الواقع، هذا لم يحدث، وتلك الشركات تعرف القانون بالفعل. لكن المشكلة كانت في الكيفية التي صُمِّمت بها تلك الاختبارات من قِبل شركات تحليل البيانات. خوارزميات الذكاء الاصطناعي تعمل بآلية بسيطة تشرحها كاثي أونيل في كتابها "أسلحة الدمار بالرياضيات" (Weapons of Math Destruction) حينما تضرب مثالا عن إطعام أطفالها.

 

كونها أُمًّا، فإنه يمكن تعريف النجاح في هذه المهمة بأنه أكبر قدر ممكن من الطعام الصحي على مدى يوم واحد فقط، لذلك فإنها تحاول استخدام كل الحِيل الممكنة لأداء هذه المهمة، كأن ترفق هدايا مع الخضار والفواكه، أو أن تقوم بتحلية اللبن بالعسل، أو أن تسمح بالشوكولاتة فقط بعد إنهاء طبق الخضار كاملا، حينما تنجح إحدى تلك الطرق مع أطفالها فإن كاثي تُركِّز بشكل أكبر على تطوير تلك الطريقة من أجل الحصول على أفضل نجاح ممكن لمهمتها مستقبلا.

في عالم خوارزميات الذكاء الاصطناعي ذاتية التعلّم، فإن الأمر ذاته يحدث. حينما تطلب من شركة بيانات ما أن تُصمِّم آلية لتقييم الموظفين الجدد في عملك، فإن صانع الخوارزمية يضع تعريفا للموظف الناجح، ليكن مثلا ذلك الذي تلقّى ترقية بعد ثلاث سنوات وخلالها ظهرت تجاهه أقل من ثلاثة تحفظات مع حفاظ على مستوى الإنتاجية ضمن 70-80%، مع ظهور هذا الموظف فإن الخوارزمية تتخذ منه نموذجا وتحاول تكراره، ومع كل دورة تتحسّن دقة الخوارزمية في الاختيار، إنها ما نسميه بحلقات التغذية الراجعة(2) (Feedback Loops)، إذا كنت تمتلك مصنع حلوى فإن قسم التسويق في مصنعك يستطلع آراء الناس مع الدفعة الأولى من إنتاجك، تُستخدم تلك الآراء لتطوير الدفعة التالية، ثم التالية، ثم التالية، وهكذا.

 

هنا تظهر المشكلة، هناك فئات مجتمعية محددة تتعرض بشكل كبير للضغط بسبب طبيعة جنسها أو عِرقها أو حالتها العقلية، لنأخذ السود في الولايات المتحدة على سبيل المثال، فهو المثال الأكثر خضوعا للدراسة، من المعروف أن أعداد الذين يتعاطون الحشيش من الشباب أصحاب البشرة السوداء والبيضاء متشابهة تقريبا، رغم ذلك فإن عدد الذين يُوضعون في السجن من متعاطي الحشيش يميل ليكون من أصحاب البشرة السوداء بفارق ثلاثة إلى أربعة أضعاف.

 

لنفترض الآن أنك حاكم لإحدى المدن وتود أن تُقلِّل الجرائم في محيطك، تُقدِّم شركات البيانات الضخمة (Big Data) مفهوما جديدا في عالم الشرطة يسمى "التنبؤ الشُرطي"(3) (Predictive Policing)، والفكرة أن نقوم بتغذية تلك الخوارزميات القادرة على التعلّم ذاتيا -عبر الذكاء الاصطناعي- ببيانات المواطنين في المدينة، تتعلّم الخوارزمية فورا أن هناك ميلا لكون السود أقرب للإيداع في السجن بسبب الجرائم الصغيرة، هنا تُوصي الخوارزمية بأن تُوضَع أعداد أكبر من عربات الشرطة في أحياء السود، ما يتسبّب في إيداع أعداد أكبر من السود في السجن، وهكذا تستمر حلقات التغذية الراجعة.

 

في كتابها "أتمتة التفاوت – كيف تصنّف التقنية الفقراء وتعاقبهم؟" (Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor) تضرب فرجينيا يوبانكس مثالا بخوارزمية تًستخدم لتوقُّع إمكانية استغلال أو إيذاء طفل ما في مقاطعة أليني بولاية بنسلفانيا الأميركية، تحصل هذه الخوارزمية على بياناتها من مؤسسات حكومية محيطة، المكاتب التي بدورها تتعامل مع الطبقات العاملة أو الفقيرة، وبسبب تحيز البيانات فإن الخوارزمية ستخلص لنتيجة تقول إن استغلال أو إهمال أو إيذاء الأطفال في الطبقات الفقيرة شائع بشكل كبير.

في أرض الواقع، فإن إيذاء الأطفال يتمثّل بالفعل في الطبقات الفقيرة بدرجة أكبر، لكنها لا تكون بهذا الفارق الضخم الذي تُمثِّله الخوارزمية، بالتالي فإن الخوارزمية -عبر حلقات التغذية الراجعة- تضع قيمة أكبر للفقر في أثناء حساباتها، وهنا يمكن أن تغض البصر تماما عن أصحاب الأُسر من الطبقة المتوسطة، والتي يوجد بها إيذاء الأطفال أيضا بنسبة واضحة، لكنهم لا يذهبون إلى مكاتب أو مصحات أو مستشفيات حكومية، بل يتعاملون مع جهات خاصة لا تعطي بياناتها للخوارزمية.

 

إن المشكلة الخاصة بتحيز البيانات كانت أكثر وضوحا في حالة تقنيات التعرف على الوجه، فهي تفشل في التعرف على وجه أي شخص غير أشقر بفارق كبير عن أصحاب البشرة الشقراء، أحد الأسباب هو أنها غُذِّيت من الأساس بعدد أكبر من بيانات الأشخاص أصحاب البشرة البيضاء فتعلّمت أن تضعهم معيارا رئيسيا، حينما نستخدم تلك التقنيات في أقسام الشرطة فإنها قد تخلط بين الناس من الأعراق الأخرى وتكون غير دقيقة، ما يُمثِّل مشكلة بالنسبة لهؤلاء.

 

اهتمت جوي بولامويني، وتعمل الآن في معهد ماساتشوستس العالي للتكنولوجيا (MIT)، بالمقارنة بين استجابات منظومات التعرف على الوجوه المختلفة بالنسبة إلى الجندر والعِرق. في ورقتها البحثية(4) الصادرة عام 2018، جاءت النتائج لتقول إن دقة تلك البرمجيات كانت أقل بفارق نحو 10% لصالح أصحاب الوجوه البيضاء من الرجال مقارنة بأصحاب البشرة السوداء، وبدا واضحا أنه كلما كان لون البشرة داكنا أكثر -من أشقر تام إلى أسود تام- كان الخطأ أكبر.

 

لكن المشكلة الأساسية ظهرت حينما قارنت بولامويني نِسَب الخطأ بين الرجال أصحاب البشرة البيضاء والنساء أصحاب البشرة السمراء، حيث وصل الخطأ -في برمجية شهيرة خاصة بشركة "آي بي إم"- إلى نسبة 34%، وكلما كانت البشرة داكنة أكثر وصل الخطأ إلى قرابة 50%، أشعلت تلك النتائج جدلا شديدا في الأوساط التقنية والعامة، ليس لأنها الأولى من نوعها، لكن لأنها المرة الأولى التي تختبر فيها برمجيات مستخدمة في سوق العمل بالفعل.

ظهرت تلك المشكلة أيضا في مجال الرعاية الصحية، وكانت دراسة صادرة في 2019 بدورية "ساينس" المرموقة قد أشارت(5) إلى أنه بسبب التفاوت الموجود سابقا في بيانات منظومة الصحة الأميركية فإن الخوارزميات التي تُستخدم للمقارنة بين المرشحين للخضوع للعلاج تُظهِر التحيزات نفسها، فتتعامل مع الأسود المريض بالسكّري على أنه أكثر تكلفة من الأبيض المريض بالسكّري عند السن والمعايير المرضية نفسها، هنا ستختار الأبيض ليسبق الأسود في طوابير العلاج.

 

الخوارزميات تبدو محايدة بطبعها، هل تلاحظ ذلك؟ كل ما تفعله هو تكرار دورات التغذية الراجعة مع الزمن للوصول إلى نتيجة تناسب تعريف النجاح، لكن المشكلة هي أنها تُضخّم من التحيزات الموجودة بالفعل، في نطاق العمل على سبيل المثال، فإن النساء تواجه مشكلات كبيرة في وظائف بعينها بسبب التنمر والتنميط، حينما تطلب من خوارزمية ما أن تُقيّم صفات الناجحين في تلك الوظيفة فإنها ستُنحّي المتقدمين من النساء تلقائيا لأنها لا ترى تحيزاتنا البشرية، بل ترى البيانات فقط.

 

أضف إلى ذلك مشكلة أخرى كبيرة وهي تهديد الصورة النمطية(6) (Stereotype threat)، ويُعرّف بأنه ميل مجموعة بعينها من البشر إلى تأكيد فكرة المجتمع عنها، فمثلا كون المجتمع ينظر للفتاة على أنها ليست مؤهلة لدراسة الرياضيات أو العلوم يدفع بها إلى التوتر والخوف في أثناء محاولتها لدراسة تلك الموضوعات، فتفقد الثقة في ذاتها وتفشل فعلا مؤكدة لصورة المجتمع عنها، لكن ذلك بالأساس لم يكن لمشكلة لها علاقة بقدراتها.

بالتالي فإن عليًّا، وهو مهاجر مصري مسلم إلى دولة غريبة، حينما يتقدّم إلى العمل في مؤسسة علمية ما ويخضع للاختبار الأوّلي، قد يتعرّض لمشكلة شبيهة فقط لأنه مصري أو لأنه مسلم، فالخوارزمية -إذا لم يُتَدخَّل لتعديلها- يمكن أن تضع ثقلا أكبر لتلك البيانات، ببساطة لأن تعريفها للنجاح يضع في حسبانه أن هناك ثلاثة مسلمين قد فشلوا في أداء هذه الوظيفة من قبل، ما يُقلِّل من احتمالات قبولك في الوظيفة، لكن الواقع هو أن النجاح في الوظيفة لم يرتبط بجنس أو جنسية أو دين (لا توجد بيانات على حدوث مثل هذا النوع من التحيز لكن المثال هنا افتراضي للتوضيح فقط).

 

لكن المشكلة الأكبر هي وجهة نظر البشر لما تعنيه اصطلاحات كـ "الذكاء الاصطناعي" أو "الخوارزميات" أو "التعلّم العميق" أو "شبكة عصبونية اصطناعية"، فهم يتصوّرون أنها محايدة وصادقة وتعتمد على العلم، وبالتالي فإن التحيز أو العنصرية ضد الآخرين يتخذ نوعا جديدا تماما من التأكيد لم نكن نحن البشر، في مجتمعاتنا المعاصرة، مستعدين له.

 

دعنا نتأمل "غوغل" لنفهم تلك الفكرة بشكل أعمق، حينما أسألك عن سبب استخدامك له فعادة ما ستجيب بأنه سهل أو أنك لا تعرف غيره أو أنه "دقيق"، تلك الملاحظة الأخيرة مهمة، لأن الناس بالفعل تعتقد أن ما تعرضه نتائج بحث غوغل محايدة في المطلق، ويمكن من خلاله أن تحصل على وصف دقيق لظاهرة ما، ابحث مثلا عن "ماء" أو "بركان" أو "الاضطراب ثنائي القطب"، عادة ما ستلتقي ببيانات دقيقة وعلمية عن الأمر، لكن ماذا لو قرّرت البحث(7) في الصور عن "Latin Girl" أو "Asian Girl" أو قرّر مواطن أميركي أن يبحث عن "Black Girl"؟

هنا ستكون النتائج أكثر ميلا ناحية المحتوى الإباحي مقارنة بالبحث عن "American Girl" على سبيل المثال، هل يعني ذلك أن الفتيات اللاتينيات مثلا سيئات السمعة؟ بالطبع لا، كذلك فإن الخوارزمية لم تقصد ذلك، لكنها فقط عملت -عبر حلقات التغذية الراجعة- على توقّع رغباتك من البحث عن الصور ومحاولة التوافق معها، لكنه بالنسبة لشخص معتاد على البحث عن الصور قد تعطيه تلك النتائج إيحاء بأن البنات من أميركا اللاتينية، بشكل عام، سيئات السمعة، الأمر الذي بدوره قد يُكرِّس للعنصرية.

 

حسنا، تسأل الخوارزمية "ما النجاح؟"، وتعمل من خلال الإجابة على إخراج أفضل نتيجة ممكنة، لكنها لا تسأل: ما العدل؟ ما الخصوصية؟ مَن يستحق الدعم أكثر من الآخر؟ ما الشيء الأخلاقي؟ ما الحقيقة؟ ما الشفافية؟

 

طالما كانت هذه الأسئلة الأخيرة -على مدى قرون- محل جدل فلسفي واجتماعي خرجت منه إجابات عدة، ونشأت مدارس فكرية كبيرة تؤيد إجابة منها على حساب الأخرى، والآن في عصر البيانات الضخمة نعيد النظر إلى تلك الإجابات بصورة حرجة للغاية، لأن تأثيرها يمتد إلى ما هو أعمق من مجرد حساب على فيسبوك أو تويتر أو خوارزمية لاختيار الموظفين في إحدى الشركات، يمتد ليُشكِّل مجتمعنا البشري كاملا.

قال لوشيانو فلوريدي، فيلسوف المعلومات البارز من أوكسفورد ذات مرة(8): "هؤلاء الذين يعيشون بالأرقام، يموتون بالأرقام"، في إشارة إلى أن البيانات الضخمة وخوارزمياتها ليست مجرد شيء في حياتنا، بل هي حالة نعيش داخلها ولا يمكن الهرب من تأثيرها مهما حدث، إنها أقرب ما يكون للماء بالنسبة للسمك، والمشكلة الأكبر هي أننا لا نعرف عنها شيئا، نستخدم التطبيق على الهاتف الذكي أو نستخدم حسابنا في فيسبوك أو نستخدم خوارزمية تصنيف المعلمين لـ "أفضل" و"أسوأ" توفيرا للوقت والجهد دون أن نعرف كيف تعمل، ومع الجهل يمكن للتحيز أن يجد طريقه بكل سهولة.

 

حاليا، يعمل فريق كبير من الخبراء في مجالات البيانات الضخمة على محاولات عدة لتطوير آليات بناء الخوارزميات لتتفادى التحيز والميل لأتمتة الفقر والتفاوت بين الناس، هذا بالفعل ممكن مع بذل قدر مناسب من الوقت والجهد في سبيله، أو على الأقل مع الوعي المبدئي بوجود مشكلات من هذا النوع في خوارزميات عادة ما تتصف بأنها "موضوعية"، فلا نُسلِّم أمرنا بالكامل لها. لكن الأزمة الأكبر تظل أننا -نحن البشر- لم نتمكّن بعد من التخلُّص من عنصريتنا أو تحيُّزنا ضد الآخرين، فكيف ستفعل الخوارزميات ذلك؟!

__________________________________________________

المصادر

  1.  Weapons of Math Destruction – Cathy O'Neil
  2. Positive and Negative Feedback Loops in Biology
  3. Predictive policing algorithms are racist. They need to be dismantled.
  4. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification
  5. Dissecting racial bias in an algorithm used to manage the health of populations
  6. Stereotype Threat Widens Achievement Gap
  7. Algorithms of Oppression: Safiya Umoja Noble
  8. الثورة الرابعة: كيف يعيد الغلاف المعلوماتي تشكيل الواقع الإنساني؟، العدد: 452، تأليف: لوتشيانو فلوريدي، ترجمة: لؤي عبد المجيد السيد.

حول هذه القصة

المزيد من مقالة
الأكثر قراءة