تعصب الگوریتم های هوش مصنوعی

Jennifer M Logg – مجله کسب و کار هاروارد – 2019:

تعصب یا سوگیری الگوریتم ها

اخیرا الگوریتم‌ها به علت تولید تصمیمات جانب‌دارانه، توجه بسیاری را به خود جلب کرده‌اند. به طور مثال مردم به دلیل اینکه الگوریتم استخدام آمازون، بانوان متقاضی شغل را نادیده می‌گرفت، عصبانی شدند. علاوه بر این، آن‌ها به دلیل خط‌مشی‌ها و قضاوت‌های از پیش تعیین شده، که افراد غیر سفیدپوست را به طور نامتناسبی تحت تأثیر قرار می‌داد، خشمگین شدند. مهمترین دلیل این بود که، نژاد و جنسیت، به عنوان ورودی‌های هیچ یک از این الگوریتم‌ها، انتخاب نشده بودند.

آیا باید از بازتاب تعصبات در خروجی الگوریتمی عصبانی بشویم؟

بله. اما نحوۀ پاسخگویی سازمان‌ها به الگوریتم‌های خود، مشخص می‌کند که آیا در جهت تفکیک تعصب از تصمیمات خود، گام برداشته یا به تصمیم‌گیری متعصبانۀ خود، ادامه می‌دهند.

تاکنون، پاسخ معمول این است که رسانه‌ها، الگوریتم را قربانی کنند، در حالی که سازمان، بر تصمیم‌گیری انسانی تکیه می‌کند. اما این رویکرد برای شناسایی و برطرف کردن تعصب، اشتباه است. در عوض، سازمان‌ها باید برای ذره‌بین خود، از الگوریتم‌های آماری استفاده کنند: الگوریتم‌ها می‌توانند امتیازات داده‌ای فردی را با هدف شفاف‌سازی الگوهایی که افراد نمی‌توانند به آسانی شناسایی کنند، جمع آوری کنند. وقتی الگوریتم‌ها با تعصبات هم‌سطح می‌شوند، سازمان‌ها باید از این “شکست”، به عنوان فرصتی برای یادگیری زمان و نحوۀ رخداد تعصبات، استفاده کنند. با این روش، آن‌ها تجهیزات بیشتری برای رفع تعصبات از عملکرد فعلی خود داشته و می‌توانند تصمیم‌گیری کلی خود را، بهینه‌سازی کنند.

تعصب الگوریتم و مشکل سرزنش آنها

نسبت دادن تعصب به الگوریتم‌ها، آن‌ها را مشابه انسان‌ها می‌کند. برای مثال، این عناوین را در نظر بگیرید: “چرا تعصب هوش مصنوعی استخدام آمازون بر علیه بانوان، اصلا غافلگیر‌کننده نیست”، “آمازون، هوش مصنوعی استخدام خود را که بر علیه بانوان متعصب بود، دور انداخت” و “تبعیض جنسیتی الگوریتم آمازون، هنوز هم می‌تواند از یک انسان، بهتر باشد.” حتی محققان نیز، با پرسیدن این سوال، الگوریتم‌ها را نقد می‌کنند، “چرا هوش مصنوعی، تبعیض قائل می‌شود؟” و برچسب‌های “تعصب ماشینی” و “تعصب الگوریتمی” را به خروجی نسبت می‌دهند. انتخاب سادۀ کلمات، ممکن است قابل توجه نباشد، اما الگوریتم‌های انسان‌شناسی، سرزنش را به ابزار منتقل می‌کنند و در نهایت، مسئولیت‌پذیری تصمیم‌گیران حقیقی را، تسلی می‌دهند. (در یادگیری ماشینی، “تعصب” معنی متفاوتی دارد؛ مشکل بیشتر در پیاده‌سازی محاوره‌ای این عبارت است.)

تصمیم‌گیران حقیقی، کسانی هستند که تصمیمات استخدام را بر عهده دارند. هدایت اشتباه خشم به این معنی است که این تصمیم‌گیران، و مدیران آن‌ها، در حل کردن مشکلات ناشی از پردازش الگوریتمی، پاسخگو نیستند. داده‌های ورودی الگوریتم‌های آمازون، متشکل از اطلاعات تاریخی است: تصمیم‌گیری‌های استخدامی قبلی که توسط افراد انجام می‌شدند؛ تعصب از این داده‌ها نشأت می‌گیرد و سازمان‌ها باید در جهت برطرف کردن تعصبات، تلاش کنند.

سرزنش کردن یک الگوریتم برای تولید خروجی متعصب، دقیقا به اندازۀ سرزنش کردن یک آینه برای بازتاب کبودی روی پیشانی شما، غیر سازنده است، اما می‌تواند زمان موردنیاز برای رفع مشکل و شناسایی مشکلات بعدی را طولانی کند.

بازگشت به قضاوت انسان، مشکل را برطرف نمی‌کند

وقتی سازمان‌ها به دلیل واکنش شدید مردم، این الگوریتم‌ها را دور می‌اندازند، برای تصمیم‌گیری به فرآیند اولیه و معیوب خود بازمی‌گردند. برای اکثر تصمیم‌ها، سازمان‌ها به طور تاریخی بر قضاوت انسان تکیه کرده‌اند. تحقیقات انجام شده در چندین سال، نشان می‌دهند که قضاوت انسان، معمولا به طور قابل پیش‌بینی متعصبانه است.

نه تنها افراد، ناسازگار هستند (چیزی که محققان آن را “اطمینان‌پذیری کم” در نظر می‌گیرند)، بلکه به دلیل اطلاعات نامربوط (با “اعتبار پیش‌بینی کم”) نیز، پریشان می‌شویم. استخدام و تبلیغات را در نظر بگیرید: حتی پس از کنترل جنسیت و سن، محققان متوجه شدند که افرادی با قد بلندتر، درآمد بیشتری دارند. یک اینج قد، به اندازۀ 789 دلار حقوق سالانه بیشتر، ارزشمند است. احتمال اینکه مدیران بر اساس قد، استخدام کرده یا ترفیع دهند، بسیار کم است، اما به نظر می‌رسد این اطلاعات، بر قضاوت آن‌ها، تأثیرگذار است. به علاوه، ما با پردازش اطلاعات بیشتر، خسته می‌شویم و احتمال بروز این اشتباهات، افزایش می‌یابد.

اگر این کافی نبود، فرآیند فکری انسان نیز، به طور ناامید کننده‌ای، مبهم است. از یک مدیر بپرسید که چطور کارمندانی با عملکرد عالی استخدام می‌کنند و شاید برای شما توضیح دهند که به دنبال “افرادی با قابلیت کار گروهی” هستند. اما این عبارت دقیقا به چه معنا است؟ شاید بگویند که به دنبال فردی هستند که به خوبی با دیگران کار می‌کند. اما در یک رزومه یا هنگام یک مصاحبه، دقیقا به دنبال چه اطلاعاتی برای نشان دادن هستند؟ مردم ممکن است بدون آنکه متوجه شوند، برای تصمیم‌گیری، از شاخص‌های ذهنی استفاده کنند و بعدا، هنگام توضیح دادن فرآیند ذهنی خود، متوجه آن شوند. این امر، ایجاد یک فرآیند تصمیم‌گیری شفاف را، دشوار می‌کند و ثبات، تقریبا غیرممکن می‌شود. به همین دلیل، فاصله گرفتن از الگوریتم‌ها به نفع قضاوت انسان، خطرناک است. در نهایت، تعصبات ما را در گودال عمیق‌تری دفن کرده و شناسایی آن‌ها را سخت‌تر می‌کند.

درمورد الگوریتم‌ها

افراد، خسته و گیج می‌شوند. اما الگوریتم‌ها اینطور نیستند. طبق تعریف، معادلات ریاضی، حامل قوانینی هستند که برای آن‌ها وضع شده است. آن‌ها ثابت باقی می‌مانند. به این دلیل است که حتی ساده‌ترین الگوریتم، یعنی پسرفت، معمولا از متخصصان دقیق‌تر است.

در حالیکه معمولا، توضیح فرآیندهای ذهنی، برای افراد دشوار است، اکثر الگوریتم‌ها، شفاف هستند – حداقل برای خالق خود. برای پسرفت‌های خطی ساده، فرد باید میزان وزن، یا اهمیت دریافتی هر متغیر را در معادله مشخص کند. این معادله، نیازمند متغیرهای ورودی و خروجی است که برای تعیین کمیت، به اندازۀ کافی واقع‌گرایانه باشند. بدین ترتیب، اعداد، شفافیت را به یک فرآیند تصمیم‌گیری، معرفی می‌کنند. (انواع خاص یادگیری ماشینی، استثناء هستند. با اینکه یک انسان، مجموعه داده‌های مورد استفاده را انتخاب می‌کند، قوانین تصمیم‌گیری استفاده شده توسط الگوریتم‌های آموزش دیده، به سادگی قابل توضیح نیستند.)

البته، نگرانی مشروعی درمورد پیروی کورکورانه از تمامی خروجی‌های الگوریتمی، بدون توجه به شرایط خاص، وجود دارد، به دلیل اینکه الگوریتم‌ها می‌توانند به طرز کارآمدی، تعصب حاضر در اطلاعات ورودی را ترکیب کنند. یک الگوریتم، هر گونه الگو در اطلاعات ورودی را، بزرگنمایی می‌کند، پس اگر تعصبی وجود داشته باشد، آن تعصب نیز، توسط الگوریتم، بزرگنمایی می‌شود.

جای تعجب نیست که این مسئله، با اهمیت ندادن سازمان‌ها به متغیرهای داده‌ای مورد استفاده به عنوان ورودی، مرتبط است. و حتی نگران کننده‌تر این است که وقتی سازمان‌ها، موفق به آزمایش مکرر الگوریتم‌ها نمی‌شوند. قضاوت انسان، برای ارزیابی دقت خروجی الگوریتم، ضروری است و الگوریتم‌ها برای بهبود، نیازمند بازخورد هستند. تمایل یک سازمان برای سرمایه‌گذاری بر روی الگوریتم‌ها، بدون در نظر گرفتن بازخورد به عنوان بخشی از فرآیند، باعث شکل‌گیری نیاز به حسابرسی الگوریتمی شده است.

در حقیقت، آمازون، خروجی الگوریتم‌های خود را بررسی کرده بود. و خوشبختانه، “عدم موفقیت” خود را به اشتراک گذاشتند. این خروجی، به طرز غافلگیرکننده‌ای دقیق، چیزی درمورد روش نفوذ تعصب به فرآیند استخدام سازمان را برملا کرد. آمازون، از 500 مدل استفاده کرد تا نشانه‌های پیش‌بینی موفقیت را شناسایی کند که با استخدام شدن شخصی در سازمان، تعریف می‌شود. در کشف وجود تعصب، سازمان، سرنخ‌هایی در رابطه با ریشۀ آن را نیز، پیدا کرد. کلماتی خاص در رزومه‌های افراد، با استخدام شدن در ارتباط بودند – افعالی برای نشان دادن اعتماد به نفس  توصیف نحوۀ انجام امور، از جمله “اجرا شده” و “کسب شده”. اکثر متقاضیانی که از این کلمات استفاده کرده‌اند، مرد بودند؛ به طور آماری، این نشانه‌ها، با جنسیت همبستگی داشتند.

این نتیجه‌گیری، به آمازون اجازه داد تا تعصب موجود در تصمیمات استخدامی قبلی خود را، شناسایی کند. مدیران استخدامی، از تأثیر این زبان خاص بر آن‌ها، ناآگاه بودند. یا شاید چنین زبانی را، به عنوان نشانی از اعتمادبه‌نفس افراد، تلقی می‌کنند. ممکن است این فاکتور را بیشتر از اطلاعات دیگر در رزومه مهم دانسته باشند، با فکر کردن به اینکه اعتمادبه‌نفس، شاخص کاربردی‌تری برای صلاحیت است.

کشف این نوع از ارتباطات، به یک سازمان اجازه می‌دهد تا امور استخدامی فعلی خود را بهبود دهد. به عنوان مثال، اگر آمازون بداند که این کلمات، با جنسیت در ارتباط بوده و حاوی اطلاعات مفید نیستند، می‌تواند این کلمات نامربوط را، قبل از بازبینی رزومه‌ها اصلاح کند. به علاوه، برنامه‌نویسان می‌توانند این موضوع را به طور آماری محاسبه کرده تا الگوریتم، از آن به عنوان نشانۀ پیش‌بینی، استفاده نکند.

استفاده از الگوریتم‌ها به عنوان ذره‌بین

سازمان‌ها می‌توانند با استفاده از الگوریتم‌ها، تعصبات احتمالی را به طور هدفمند بزرگ‌نمایی کرده تا بتوانند آن‌ها را شناسایی و برطرف کنند. شناسایی، اولین گام در حل مسئله است. وقتی الگوریتم‌ها با تعصبات همسطح می‌شوند، سازمان‌ها در مواردی مانند، فرآیندهای تصمیم‌گیری گذشتۀ خود، منشأ تعصبات و اطلاعات نامربوطی که ما را از اطلاعات کاربردی دور می‌کند، اطلاعات کسب می‌کنند. سازمان‌ها می‌توانند از این استراتژی ذره‌بین، برای هر فرآیند تصمیم‌گیری مهمی که شامل پیش‌بینی است، از استخدام تا پروموشن، استفاده کنند.

اهرم‌سازی الگوریتم‌ها به عنوان ذره‌بین، می‌تواند در زمان سازمان‌ها، صرفه‌جویی کند. برای مثال، اگر دپارتمانی، هر سال دو نفر را استخدام کند، شاید مدتی طول بکشد تا متوجه شویم که یک سازمان متشکل از ده کارمند، فقط شامل یک کارمند زن است. اما وقتی یک الگوریتم، باعث بروز تصمیمات نادر می‌شود، الگوهایی پیدا می‌کند که سالهاست مشاهده نکرده‌ایم. آشکار کردن تعصب، به سازمان‌ها این فرصت را می‌دهد تا به این مشکل، رسیدگی کنند. روش جایگرین این است که سازمان‌ها، تجارت خود را به طول معمول ادامه داده و اجازه بدهند تا تعصب تقریبا در هر استخدام و پروموشن، تأثیر بگذارد.

وقتی تعصبات شناسایی شوند، سازمان‌ها می‌توانند با سه روش اصلی، تصمیمات متعصبانه را تصحیح کنند. اولین روش، دشوارترین نیز هست. این روش شامل ایجاد اطلاعات ورودی بهتر برای الگوریتم است، که با تعویض امور استخدامی فعلی آغاز می‌شود. در دومین روش، می‌توانیم استفاده از همان داده‌های تاریخی را ادامه دهیم اما قوانین جدیدی برای الگوریتم وضع کنیم، مثلا، قراردادن یک متغیر که تنوع را مشخص می‌کند. در روش سوم می‌توانیم احتمال معرفی تعصب توسط متغیرهای ورودی موجود را در نظر بگیریم یا متغیرهای ورودی جدید و مناسب‌تری وضع کنیم. برای مشاهدۀ یک لیست دقیق درمورد روش‌های بهره‌گیری از الگوریتم‌ها به عنوان ذره‌بین، بخش “مطالعۀ بیشتر” در قسمت بالا را مشاهده کنید.

از خود بپرسید “جایگزین چیست؟”

مثل انسان‌ها، هیچ الگوریتمی بی‌نقص نیست، اگر اینطور بود، از آینده باخبر بودیم. وقتی مردم با خروجی الگوریتمی ناکاملی مواجه می‌شوند، ممکن است در پاسخ، آن را دور بریزند.

در حین بحث‌ها در کلاس من به نام “روانشناسی بیگ دیتا”، دانش‌آموزان در مورد الگوریتمی برای مشخص کردن دانش‌آموزانی که احتمال ترک تحصیل آن‌ها بیشتر است، مطالعه می‌کنند. این الگوریتم، تقریبا 85% از مواقع، صحیح بود. این بحث، غالبا درمورد اعتماد به نتایج ناکامل بود. من آن‌ها را تشویق کردم که هنگام فکر کردن به میزان اعتماد به الگوریتم، جایگزینی را در نظر بگیرند. یک فرد، چقدر خوب می‌تواند نتیجه‌ای یکسان را پیش‌بینی کند؟ آیا حتی قادر به رسیدن به دقت 60% خواهند بود؟ در مقایسه با معیار 60% دقت، 85% بسیار بهتر به نظر می‌رسد.

وقتی دقت الگوریتمی و انسانی، مستقیما مقایسه می‌شوند، دقت پیش‌بینی الگوریتم‌ها، حتی قضاوت تخصصی را همواره شکست می‌دهد. به همین دلیل است که ما باید جایگزینی را برای قضاوت‌های الگوریتمی در نظر بگیریم. در واقع، در تحقیق من با یکی از همکلاسی‌هایم به نام جولیا مینسون از دانشگاه هاروارد و دان مور از دانشگاه برکلی کالیفرنیا، متوجه شدیم، متخصصانی که پیشنهاد الگوریتم را نادیده می‌گیرند، در پیش‌بینی‌های خود در رابطه با افرادی که مایل به پیروی از پیشنهاد هستند، دقت کمتری دارند.

در آخر، الگوریتم‌ها ابزار هستند. افراد آن‌ها را طراحی، دقت آن‌ها را ارزیابی، و نحوۀ تصمیم‌گیری برای خروجی را مشخص می‌کنند. داده‌ها می‌توانند دانش فراهم کنند، اما افراد، مسئولِ تصمیماتی هستند که بر اساس آن، گرفته می‌شوند