زن نباش تا اخراج نشوی!

یک اشتباه محاسباتی در قلب مهندسی آمازون کافی بود تا هوش مصنوعی این شرکت، کلمه «زنان» را به عنوان یک امتیاز منفی در رزومه‌ها شناسایی کند.
گروه علم و پیشرفت خبرگزاری فارس - بی‌تردید، آمازون با ارائه خدمات نوآورانه‌ای همچون «آمازون پرایم» و زیرساخت‌های ابری قدرتمند (AWS)، تحولی عظیم در تجارت و تکنولوژی جهان ایجاد کرده و استانداردهای جدیدی را تعریف نموده است.بسیاری از اقدامات، نوآوری‌ها و راهبردهای آمازون، الهام‌بخش شرکت‌های بزرگی بوده که از این کسب و کار غول‌آسا گرته‌برداری کردند.تمرکز بر این روایت خاصی که می‌خوانید نیز، نه به منظور کمرنگ کردن دستاوردهای درخشان این غول فناوری، بلکه با هدف واکاوی یک چالش بنیادین در دل این پیشرفت‌هاست. داستانی که نشان می‌دهد چگونه حتی پیشرفته‌ترین سیستم‌های هوشمند نیز در صورت تکیه بر داده‌های آلوده به تعصبات تاریخی، می‌توانند از ابزار کارآمدی به مکانیزمی برای بازتولید نابرابری تبدیل شوند.

اما شروع ماجرا از کجا بود؟

چراغ‌های سفید و سردِ سقفی در دفتر مهندسی آمازون واقع در شهر ادینبرو، بی‌وقفه روی میزهایی می‌تابیدند که لبریز از مانیتورهای عریض، لیوان‌های قهوه نیمه‌سرد و برگه‌های یادداشت پراکنده بودند.روی یکی از این نمایشگرها، فهرستی طولانی از واژه‌ها با سرعت جابه‌جا می‌شد که شامل هزاران کلمه فنی و عبارت‌های خاصی بود که معمولاً فقط در رزومه‌های حرفه‌ای و تخصصی دیده می‌شدند.در کنار هر کدام از این واژه‌ها عددی به چشم می‌خورد که نشان‌دهنده وزنی بود که الگوریتم هوشمند به آن کلمه اختصاص داده بود تا ارزش متقاضی را بسنجد.در آن روزهای پرامید سال ۲۰۱۴، گروه کوچکی از مهندسان باسابقه آمازون تصور می‌کردند که در آستانه کشف چیزی هستند که خودشان نامش را «جام مقدس صنعت استخدام» گذاشته بودند.آن‌ها به دنبال ساخت سیستمی بودند که بتواند صدها رزومه پیچیده را تنها در چند ثانیه غربال کند و بهترین استعدادهای موجود را برای مصاحبه نهایی بیرون بکشد.ایده اصلی بسیار ساده و منطقی به نظر می‌رسید زیرا آمازون با رشد انفجاری خود به نیروی انسانی عظیمی نیاز داشت که تیم‌های منابع انسانی دیگر توان مدیریت آن را نداشتند.مدیران می‌پرسیدند چرا همان کاری را که الگوریتم‌ها برای پیشنهاد کالا به مشتریان انجام می‌دهند، برای انتخاب هوشمندانه کارمندان جدید انجام ندهند؟ آن‌ها می‌خواستند ماشینی بسازند که مثل خریداران سایت، به رزومه‌های کاری هم امتیاز بدهد و بهترین‌ها را با نشان پنج‌ستاره مشخص نماید.

الگوریتم استخدام از گذشته‌ای مردانه درس می‌گیرد

این پروژه حساس در سکوت کامل خبری پیش رفت و تیمی که ابتدا از چند نفر تشکیل شده بود، در مرکز مهندسی ادینبرو به تدریج بزرگ و بزرگ‌تر شد. مهندسان برای آموزش ماشین خود به داده‌های عظیمی نیاز داشتند و آمازون هم بانک اطلاعاتی ده سال رزومه‌های دریافتی خود را به عنوان ماده خام در اختیار آن‌ها قرار داد.الگوریتم یادگیری ماشین شروع به بلعیدن این داده‌ها کرد تا بفهمد چه الگوهایی در گذشته باعث موفقیت یک متقاضی و استخدام او در این شرکت بزرگ شده است. اما دقیقاً در همین نقطه و در میان انتخاب نخستین داده‌های آموزشی، بذر مشکلی کاشته شد که بعدها کل اعتبار پروژه را زیر سؤال برد و نابود کرد.صنعت فناوری در دهه‌های گذشته به طور تاریخی فضایی مردانه داشت و اکثر رزومه‌های فنی که به دست آمازون رسیده بود، متعلق به مردان متخصص بود. الگوریتم هوشمند بدون آن‌که درکی از مفهوم عدالت یا برابری جنسیتی داشته باشد، دقیقاً همان چیزی را یاد گرفت که داده‌های تاریخی به او نشان می‌دادند.او آموخت که الگوهای زبانی خاصی که بیشتر در رزومه‌های مردانه تکرار شده بود، با احتمال استخدام بالاتر همراه هستند و به آن‌ها وزن بیشتری داد.در مقابل، کلماتی که در رزومه‌های زنان دیده می‌شد، به عنوان نشانه‌های ضعیف شناسایی شدند و سیستم به طور خودکار آن‌ها را به حاشیه راند.

کلمه زنان باعث ریزش امتیاز رزومه‌ها می‌شود

تا سال ۲۰۱۵ که تیم مهندسی شروع به بررسی دقیق خروجی‌های سیستم کرد، نشانه‌های نگران‌کننده و عجیبی بر روی مانیتورها ظاهر شد که همه را شوکه کرد. یکی از آزمایش‌های داخلی نشان داد که اگر در رزومه‌ای عبارت کاپیتان باشگاه شطرنج زنان آمده بود، سیستم بدون توجه به مهارت رهبری، امتیاز پایینی به آن فرد می‌داد.سیستم حتی فارغ‌التحصیلان کالج‌های تماماً زنانه را صرفاً به دلیل نام دانشگاه‌شان تنزل رتبه می‌داد و آن‌ها را از لیست نامزدهای برتر برای شغل‌های فنی حذف می‌کرد.مهندسان با تعجب می‌دیدند که واژه انگلیسی مربوط به زنان در فهرست سیاه واژه‌هایی قرار گرفته که به طور خودکار اعتبار رزومه را نزد ماشین از بین می‌برد.برای کسانی که پشت مانیتورها نشسته بودند، این موضوع دیگر فقط یک خطای عددی ساده نبود بلکه یک فاجعه اخلاقی در قلب فناوری به حساب می‌آمد. یکی از اعضای تیم بعدها اعتراف کرد که وقتی متوجه شدند سیستم به صورت سیستماتیک علیه زنان عمل می‌کند، تمام اعضای گروه در بهت و حیرت فرو رفتند.قرار بود ماشین عادل‌تر و بی‌طرف‌تر از انسان‌های جایز‌الخطا باشد، اما در واقعیت این ابزار فقط تعصبات و نابرابری‌های گذشته را بازتولید و حتی تقویت می‌کرد.ماشین دقیقاً همان کاری را انجام می‌داد که از او خواسته شده بود؛ یعنی تقلید کورکورانه از الگوهای استخدامی ده سال گذشته شرکت آمازون.

تلاش برای اصلاح کدها به بن‌بست می‌رسد

مهندسان آمازون بلافاصله تلاش‌های گسترده‌ای را برای اصلاح کدها آغاز کردند تا سیستم را نسبت به واژه‌های حساسی مثل نام کالج‌های زنان بی‌تفاوت کنند.آن‌ها وزن‌های داده شده به کلمات را تغییر دادند و فیلترهای جدیدی ساختند تا مانع از اعمال تبعیض آشکار توسط این هوش مصنوعی در حال یادگیری شوند.اما هر بار که یک نشانه تبعیض‌آمیز حذف می‌شد، نگرانی تازه‌ای در ذهن تیم مهندسی شکل می‌گرفت که آیا ماشین راه دیگری برای دور زدن عدالت پیدا نمی‌کند؟ آن‌ها می‌ترسیدند که الگوریتم به جای یک واژه مستقیم، ترکیبات نامحسوس دیگری از کلمات را به عنوان نشانه جنسیتی شناسایی کند و باز هم زنان را کنار بزند.در همین زمان و در دفترهای منابع انسانی آمازون، مسئولان استخدام با ابزار تازه‌ای روبرو بودند که کنار هر رزومه، ستاره‌هایی را به عنوان پیشنهاد ماشین نمایش می‌داد.اگرچه آمازون بعدها ادعا کرد که این رتبه‌بندی هرگز مبنای نهایی تصمیم‌گیری نبوده، اما تماشای آن ستاره‌ها به شدت روی ذهنیت مصاحبه‌کنندگان انسانی تأثیر می‌گذاشت.یکی از کارکنان سابق بخش استخدام گفت که وقتی ماشینی با آن ابهت فنی چیزی را پنج‌ستاره می‌نامد، نادیده گرفتن آن برای یک انسان بسیار دشوار است. این ستاره‌ها مانند یک پیش‌داوری دیجیتال عمل می‌کردند و باعث می‌شدند رزومه‌های با امتیاز کمتر، حتی اگر شایسته بودند، با دقت کمتری مطالعه شوند.

آمازون پروژه استخدام هوشمند را متوقف می‌کند

از سال ۲۰۱۵ تا اوایل ۲۰۱۷، این پروژه در وضعیت مبهم آزمون و خطا باقی ماند و مهندسان شب‌های زیادی را در دفتر برای بازنویسی کدها بیدار ماندند. روی میزها فهرست‌هایی از بیش از ۵۰۰ مدل کامپیوتری مختلف دیده می‌شد که برای تیم‌های گوناگون طراحی شده بود تا شاید یکی از آن‌ها عادلانه رفتار کند.پیچیدگی سیستم هر روز بیشتر می‌شد اما اطمینان مدیران به عادلانه بودن خروجی‌های آن به شدت کاهش یافت و تردیدها به سطوح عالی مدیریتی رسید. آمازون متوجه شد که حتی با اصلاحات فنی، نمی‌تواند تضمین کند که تبعیض‌های پنهان به طور کامل از ذهن این ماشین یادگیرنده پاک شده است.خطر بدنامی برای برندی مثل آمازون بسیار بالا بود؛ زیرا معرفی سیستمی که زنان را حذف می‌کرد، می‌توانست به یک بحران روابط عمومی جهانی تبدیل شود. در نهایت، پیش از آن‌که این ابزار به طور رسمی و گسترده وارد فرآیند جذب نیرو شود، تصمیم نهایی برای توقف کامل پروژه گرفته شد.تیم مهندسی پراکنده گشت و تمامی آن مدل‌های پیچیده بدون هیچ بیانیه عمومی یا سر و صدایی در پوشه‌های محرمانه بایگانی شدند تا این شکست مسکوت بماند. برای مدتی طولانی، داستان این جام مقدسِ زنگ‌زده در همان اتاق‌های مهندسی ادینبرو دفن شد و کسی از سرنوشت آن اطلاعی نداشت.

گزارش رویترز پرده از تبعیض الگوریتمی برمی‌دارد

در تاریخ ۱۰ اکتبر ۲۰۱۸، گزارش تحقیقی خبرگزاری رویترز مانند یک بمب خبری عمل کرد و پرده از این تلاش ناکام و محرمانه آمازون کنار زد. این گزارش با استناد به اسناد داخلی و گفتگو با افراد مطلع، نشان داد که چگونه نوآوری می‌تواند به ابزاری برای تثبیت نابرابری‌های اجتماعی تبدیل شود.پروژه‌ای که قرار بود آینده درخشان استخدام در جهان باشد، ناگهان به نمونه‌ای عبرت‌آموز از خطرات تبعیض الگوریتمی در محافل علمی و خبری تبدیل گشت.گزارش رویترز ثابت کرد که این مسئله فقط یک باگ یا خطای فنی ساده نبوده، بلکه ریشه در رابطه غلط میان داده‌های گذشته و تصمیمات آینده داشته است.سیستم یادگیری ماشین آمازون بدون آن‌که قصدی داشته باشد، به آینه‌ای تبدیل شده بود که چهره نابرابر و مردانه صنعت فناوری را بزرگ‌نمایی می‌کرد. این واقعه نشان داد که اگر داده‌ها بازتاب نابرابری باشند، هوش مصنوعی هم همان نابرابری را با دقتی ماشینی و بی‌رحمانه به آینده تزریق خواهد کرد.پس از انتشار این گزارش، آمازون دوباره تأکید کرد که این ابزار هرگز به طور کامل عملیاتی نشده و تصمیمات نهایی همواره توسط انسان‌ها گرفته شده است.اما این دفاعیه نتوانست پرسش‌های بنیادی را که در ذهن فعالان حقوق مدنی و متخصصان اخلاقِ فناوری ایجاد شده بود، به سادگی پاسخ دهد.

عدالت را نمی‌توان تنها به ماشین‌ها سپرد

باید پذیرفت که آمازون با تعریف مجدد مفاهیم خرید و تجارت در جهان، جایگاهی رفیع در تاریخ فناوری دارد؛ اما این شکوه تکنولوژیک نباید ما را از دیدن حقیقتی تلخ غافل کند.اینکه حتی پیشرفته‌ترین الگوریتم‌ها نیز اگر بر پایه داده‌های نابرابر ساخته شوند، می‌توانند به پاشنه آشیل تبدیل شوند.هدف از طرح این ماجرا، کوچک شمردن خدمات بی‌بدیل این شرکت نیست، بلکه هشداری است در باب اینکه «قدرت» بدون «اخلاق»، می‌تواند به ابزاری برای تثبیت نابرابری‌های تاریخی بدل شود. پروژه استخدام آمازون به پایان رسید، اما درس‌های بزرگی که از خود به جای گذاشت، همچنان در اتاق‌های فکر شرکت‌های بزرگ فناوری بحث می‌شود.در سرتاسر جهان الگوریتم‌های بی‌شماری در حال یادگیری از داده‌های ما هستند و آینده ما را بر اساس اشتباهات گذشته‌مان پیش‌بینی می‌کنند.شاید مهم‌ترین درس این واقعه همین باشد که عدالت مفهومی نیست که بتوان آن را صرفاً با ریاضیات و داده‌های آماری به یک ماشین آموخت.انسان همواره باید در مرکز تصمیم‌گیری باقی بماند تا مانع از تبدیل شدن هوش مصنوعی به یک ماشینِ بازتولیدِ تبعیض در جوامع مدرن شود.
17:06 - 26 دی 1404
علم و پیشرفت
فناوری‌های پیشرفته
هوش مصنوعی

3 بازنشر19 واکنش
176٫9k بازدید



25 پاسخ

@Nkseresht26 دی 1404
در پاسخ به
منصفانه و مستدل👌👌توی این بی اینترنتی لذت بردمولی انصافاً بگید وصلش کنن

@Behzad_Behzadian26 دی 1404
در پاسخ به
حمایت کنید:نیروهای امنیت‌ کشورمان را به بالاترین سطح تجهیزات نظامی مجهز کنیدhttps://farsnews.ir/Behzad_Behzadian/1768167911970955237

تجهیز نیروهای امنیت در بالاترین سطح جهانی

مطالبه

نیروهای امنیت‌ کشورمان را به بالاترین سطح تجهیزات نظامی مجهز کنید

با توجه به جنگ اغتشاش آشوبگران ملاحظه می‌شود نیروهای انتظامی و بسیج‌، از امکانات مناسب در شان و جایگاه محافظان امنیت برخوردار نیستند، یا اجازه‌ی استفاده از تجهیزات را ندارد، از این رو، در چند روز گذشته متاسفانه شاهد شهادت مدافعان‌مان بودیم. لذا لازم است قدرت و جایگاه پلیس و بسیج ترمیم و افزایش پیدا کند. لازمه‌ تصویب چند لایحه‌ی حمایتی از پلیس و بسیج در مجلس، به صورت فوری و جدی ، احساس می‌شود

آقای قالیباف، آقای رادان

10٬000
پیگیری از عالی ترین مسئول
50٬000
پیگیری از صحن علنی مجلس

تصویر نمایه‌ی ‌امیر حسین رستمی‌
@ahrostami26 دی 1404
در پاسخ به
جالب بود

تصویر نمایه‌ی ‌علم و پیشرفت‌
جناب ستار یکتاممنونم بابت حسن نظر شمالطفاً اگر مایل بودید مطالب دیگر گروه را هم مطالعه کنید.سعی شده نقاط تاریک و روشن با همدیگر به سمع و نظر مخاطبان عزیز برسد.و اینکه امیدوارم حالا که آمدید، بمانیدموفق و سربلند باشیدhttps://farsnews.ir/user176822765035/1768571901299126673

این خبر حذف شده است.


@user17684756641026 دی 1404
در پاسخ به
ر
رحیم

@user176847566410  •  26 دی 1404

تدوین آیین نامه پرداخت خسارت ناشی از قطع اینترنت
مطالبه

تدوین آیین نامه پرداخت خسارت ناشی از قطع اینترنت

اخیرا احسان چیت‌ساز معاون وزیر ارتباطات گفته است: بر اساس ارزیابی دوره جنگ تحمیلی ۱۲ روزه، تقریبا به ازای هر روز، حدود ۵۰۰ میلیارد تومان زیان برای کسب و کارها به خاطر قطع اینترنت اتفاق افتاده بود. با توجه به عدم قانون شفاف در زمینه ارزیابی و نحوه پرداخت خسارت به واحدهای کوچک و متوسط که به خاطر قطع اینترنت آسیب دیده اند، از دولت و مجلس محترم خواستاریم که آیین نامه پرداخت خسارت ناشی از قطع اینترنت به واحدهای اقتصادی کوچک و متوسط رو با قید دو فوریت تهیه و تصویب کند‌. این امر به کاهش فشار اقتصادی به واحدهای کوچک و متوسط که تاب آوری کمتری در شرایط فوریت دارند، کمک خواهد کرد.

مجلس شورای اسلامی و هیات دولت،نهادهای نظارتی وتصمیم ساز اقتصادی، سازمان برنمامه و بودجه

1000
پیگیری از مسئول مربوطه
10٬000
پیگیری از عالی ترین مسئول

تصویر نمایه‌ی ‌علم و پیشرفت‌
جناب هومن نیکو سرشتبابت حسن نظر شما متشکرمخوشحال هستیم که در این شرایط سخت شما را خرسند کردیمگروه علم و پیشرفت تمام قد مطالبه گر حق و حقوق شما عزیزان در حوزه‌ی مربوط به خود هستامیدواریم زودتر مشکل حل شود

تصویر نمایه‌ی ‌علم و پیشرفت‌
سپاسگزار نظرات شما هستیمhttps://farsnews.ir/ahrostami/1768572976960517155
در پاسخ به
جالب بود

تصویر نمایه‌ی ‌بشار کاظمی‌
@BASHARASSAD26 دی 1404
در پاسخ به
ذات آمریکا

@Zakari26 دی 1404
در پاسخ به
مطلب جالبی بود ولی میدونید در ایران همین برعکسش در حال رخ دادن است و به جای استخدام افراد بر اساس توانایی های مورد نیاز برای انجام یک شغل، جنسیت ملاک استخدام است؟ خیلی شغل ها رو رسما اگهی مخصوص یک جنسیت خاص میزنن در حالی که جنسیت هیچ ارتباطی به عملکرد و خروجی کار نداره. به خودمون بپردازیم.

تصویر نمایه‌ی ‌علم و پیشرفت‌
جناب زکریاوقت بخیرممنون بابت وقتی که برای خواندن مطلب گذاشتیدبله در هر موضوعی مشکلاتی ممکن است وجود داشته باشد،‌ ولی تعمیم دادن این مشکلات به همه‌جا نیازمند دلیل و منطق متقن هست.همین گزارشی که به شما ارائه گردید هم دلیلی بر تعمیم آن بر همه‌ی تصمیمات شرکت‌های دیگر و حتی تصمیمات دیگر خود شرکت آماز…نمایش بیشتر

@user17684756641026 دی 1404
در پاسخ به
ر
رحیم

@user176847566410  •  26 دی 1404

تدوین آیین نامه پرداخت خسارت ناشی از قطع اینترنت
مطالبه

تدوین آیین نامه پرداخت خسارت ناشی از قطع اینترنت

اخیرا احسان چیت‌ساز معاون وزیر ارتباطات گفته است: بر اساس ارزیابی دوره جنگ تحمیلی ۱۲ روزه، تقریبا به ازای هر روز، حدود ۵۰۰ میلیارد تومان زیان برای کسب و کارها به خاطر قطع اینترنت اتفاق افتاده بود. با توجه به عدم قانون شفاف در زمینه ارزیابی و نحوه پرداخت خسارت به واحدهای کوچک و متوسط که به خاطر قطع اینترنت آسیب دیده اند، از دولت و مجلس محترم خواستاریم که آیین نامه پرداخت خسارت ناشی از قطع اینترنت به واحدهای اقتصادی کوچک و متوسط رو با قید دو فوریت تهیه و تصویب کند‌. این امر به کاهش فشار اقتصادی به واحدهای کوچک و متوسط که تاب آوری کمتری در شرایط فوریت دارند، کمک خواهد کرد.

مجلس شورای اسلامی و هیات دولت،نهادهای نظارتی وتصمیم ساز اقتصادی، سازمان برنمامه و بودجه

1000
پیگیری از مسئول مربوطه
10٬000
پیگیری از عالی ترین مسئول

تصویر نمایه‌ی ‌احمد محمودی نژاد‌
@user17665485801026 دی 1404
در پاسخ به
عدالت! خب مردا توی تکنولوژی بهتر از زنان دیگه به زور که نمیشه زنارو علاقه مند کرد به اینجور شغل ها یا سهمیه استخدام گذاشت. شایسته سالاری باید باشه

تصویر نمایه‌ی ‌علم و پیشرفت‌
جناب امیر وقت بخیرممنون که وقت گذاشتید برای مطالعه گزارشغرب ویژگی‌های محوری زیادی برای بقا، ماندن و حتی جلو رفتن داردشکست‌هایی هم خورده استشکست‌ها هرچقدر هم زیاد باشد تا وقتی توانایی‌ها وجود دارند میتوان ماند و ادامه دادhttps://farsnews.ir/user176848426554/1768578295577188507

این خبر حذف شده است.


@DambizLate26 دی 1404
در پاسخ به
پناهندشون کنید ایران برای رفاه اجتماعی و رعایت حقوق زنان

تصویر نمایه‌ی ‌I'm not iranian شده‌آرزو..‌
@khastam26 دی 1404
در پاسخ به
اونا میگن زن نباش شما با قطع اینترنت میگید بمیر و اصلا زندگی نکن :-)دیدید شکل همین هنوز بد ترید؟!! #مرگم_آرزوست#جمهوری_نه_دیکتاتوری#اینترنت_بین_الملل #حق_مسلم_ماست #اینترنت_آزاد #مطالبه #ظلم_ممنوع #صدای_مردم

@DambizLate26 دی 1404
در پاسخ به
یک ماه دیگر اینترنت ملی بماند دیجی کالا آمازون را زمین خواهد زد همانطور که ما آمریکا را زمین زدیم

@Alireza20626 دی 1404
در پاسخ به
سلام. خب الان تو خیلی از کشور های جهان و خود ایران هم همینطور هست دیگه! الان اکثر فروشگاه های زنجیره ای یا بیمارستان ها برای کار کلا خانم پذیرش میکنن . اگر قرار باشه به تبعیض های جنسیتی بپردازیم باید به فشار ها و محدودیت هایی که برای مردان در خیلی مشاغل وجود داره هم صحبت کرد!

@hadi_ggg26 دی 1404
در پاسخ به
به تو چه؟ شما کم زن استخدام می‌کنید نگران آمازون شدید؟ اگه شعور داشتین جنسیت رو قاطی استخدام ها نمیکردین. الان دنیا یه طوری شده انگار زن نباشی جرم کردی!!!