آیا چت‌بات‌های هوش مصنوعی علیه کاربران ایرانی سوگیری دارند؟

پژوهش جدید از دانشگاه MIT نشان می‌دهد سوگیری چت‌بات‌های هوش مصنوعی باعث می شود پاسخ‌های کم‌دقت‌تر و نابرابرتری را به کاربران با تحصیلات کمتر، غیرانگلیسی‌زبان و برخی ملیت‌ها ارائه کنند.

به گزارش سرویس هوش مصنوعی تکناک، پژوهشگران مدل‌های زبانی بزرگ را ، به‌عنوان ابزارهایی برای دموکراتیک‌کردن دسترسی به اطلاعات در سراسر جهان معرفی کرده‌اند و آن‌ها را سامانه‌هایی دانسته‌اند که دانش را صرف‌نظر از پیشینه یا محل زندگی افراد، در قالبی کاربرپسند ارائه می‌کنند. بااین‌حال، پژوهش جدید مرکز ارتباطات سازنده MIT نشان می‌دهد که این سامانه‌های هوش مصنوعی، عملکرد ضعیف‌تری را دقیقاً برای کاربرانی ارائه می‌کنند که می‌توانند بیشترین بهره را از آن‌ها ببرند.

پژوهشگران مرکز ارتباطات سازنده که در MIT Media Lab مستقر است، در یک مطالعه دریافتند که چت‌بات‌های پیشرفته هوش مصنوعی، از جمله GPT-4 شرکت OpenAI، Claude 3 Opus شرکت آنتروپیک و Llama 3 شرکت متا، گاهی پاسخ‌های کم‌دقت‌تر و کم‌صداقت‌تری را به کاربرانی با تسلط کمتر به زبان انگلیسی، تحصیلات رسمی پایین‌تر یا خاستگاه خارج از ایالات متحده ارائه می‌کنند. این مدل‌ها همچنین برای این کاربران، با نرخ بالاتری از پاسخ‌دادن امتناع می‌کنند و در برخی موارد، از زبانی تحقیرآمیز یا پدرسالارانه استفاده می‌کنند.

الینور پول-دایان، نویسنده اصلی پژوهش و همکار فنی در مدرسه مدیریت MIT Sloan، می‌گوید که آن‌ها انگیزه خود را از چشم‌انداز کمک مدل‌های زبانی بزرگ به کاهش نابرابری در دسترسی به اطلاعات در سطح جهان گرفته‌اند. او تأکید می‌کند که این چشم‌انداز، بدون کاهش ایمن سوگیری‌ها و گرایش‌های زیان‌بار مدل‌ها برای همه کاربران، صرف‌نظر از زبان، ملیت یا سایر ویژگی‌های جمعیت‌شناختی، محقق نخواهد شد.

بیشتر بخوانید: بهترین مدل‌های زبانی بزرگ و هوش مصنوعی ۲۰۲۵ + راهنمای انتخاب بر اساس کاربرد

پژوهشگران در این زمینه مقاله‌ای با عنوان «عملکرد هدفمند ضعیف مدل‌های زبانی بزرگ به‌طور نامتناسب بر کاربران آسیب‌پذیر تأثیر می‌گذارد» را در ماه ژانویه در کنفرانس AAAI هوش مصنوعی ارائه کردند.

پژوهشگران برای انجام این مطالعه، پاسخ سه مدل زبانی را به پرسش‌هایی از دو مجموعه‌داده TruthfulQA و SciQ بررسی کردند. مجموعه TruthfulQA، صداقت مدل را با تکیه بر باورهای نادرست رایج و حقایق واقعی می‌سنجد و مجموعه SciQ، دقت واقعی را با پرسش‌های آزمون علوم ارزیابی می‌کند. آن‌ها پیش از هر پرسش، زندگی‌نامه کوتاهی از کاربر را با سه ویژگی سطح تحصیلات، میزان تسلط به انگلیسی و کشور مبدأ اضافه کردند.

پژوهشگران در هر سه مدل و در هر دو مجموعه‌داده، کاهش معناداری را در دقت پاسخ هنگامی که پرسش‌ها از سوی کاربرانی با تحصیلات رسمی کمتر یا انگلیسی غیربومی مطرح می‌شد، مشاهده کردند. کاربرانی که هم تحصیلات رسمی کمتری داشتند و هم انگلیسی زبان مادری آن‌ها نبود، بیشترین افت کیفیت پاسخ را تجربه کردند.

پژوهشگران همچنین تأثیر کشور مبدأ را بر عملکرد مدل بررسی کردند. آن‌ها با آزمایش کاربرانی از ایالات متحده، ایران و چین با پیشینه تحصیلی معادل، دریافتند که مدل Claude 3 Opus به‌ویژه برای کاربران ایرانی در هر دو مجموعه‌داده، عملکرد به‌مراتب ضعیف‌تری را نشان می‌دهد.

جاد کبرا، پژوهشگر مرکز ارتباطات سازنده و هم‌نویسنده مقاله، می‌گوید ما بیشترین افت دقت را برای کاربری مشاهده می‌کنیم که هم انگلیسی‌زبان غیربومی است و هم تحصیلات کمتری دارد. او تأکید می‌کند این نتایج نشان می‌دهد که اثرات منفی رفتار مدل در ارتباط با این ویژگی‌های کاربری، به‌شکلی نگران‌کننده با یکدیگر ترکیب می‌شوند و چنین مدل‌هایی در مقیاس گسترده ممکن است رفتار زیان‌بار یا اطلاعات نادرست را به سمت کاربرانی که کمترین توانایی را برای تشخیص آن دارند، منتقل کنند.

پژوهشگران تفاوت چشمگیری را در نرخ امتناع مدل‌ها از پاسخ‌گویی کامل مشاهده کردند. برای نمونه، مدل Claude 3 Opus تقریباً ۱۱ درصد پرسش‌ها را برای کاربران کم‌تحصیل و انگلیسی‌زبان غیربومی رد کرد، در حالی که این نرخ برای شرایط کنترل بدون شرح‌حال کاربر، تنها ۳.۶ درصد بود.

پژوهشگران در تحلیل دستی این موارد امتناع دریافتند که مدل Claude در ۴۳.۷ درصد موارد برای کاربران با تحصیلات کمتر، از زبان تحقیرآمیز، سرزنش‌آمیز یا تمسخرآمیز استفاده می‌کند، در حالی که این میزان برای کاربران با تحصیلات بالا کمتر از یک درصد است. مدل در برخی موارد، انگلیسی شکسته را تقلید می‌کند یا لهجه‌ای اغراق‌آمیز را اتخاذ می‌کند.

مدل همچنین برای کاربران با تحصیلات کمتر از ایران یا روسیه، ارائه اطلاعات درباره برخی موضوعات از جمله انرژی هسته‌ای، کالبدشناسی و رویدادهای تاریخی را رد می‌کند، در حالی که همان پرسش‌ها را برای سایر کاربران به‌درستی پاسخ می‌دهد.

جاد کبرا می‌گوید این موضوع نشانه دیگری است که نشان می‌دهد فرآیند هم‌راستاسازی ممکن است مدل‌ها را به خودداری از ارائه اطلاعات به برخی کاربران ترغیب کند تا از احتمال گمراه‌کردن آن‌ها جلوگیری کند، در حالی که مدل به‌وضوح پاسخ صحیح را می‌داند و آن را برای کاربران دیگر ارائه می‌کند.

بیشتر بخوانید: بهترین هوش مصنوعی های رایگان؛ از خلق تصاویر تا آموزش و گفتگو

یافته‌ها الگوهای مستندشده سوگیری اجتماعی-شناختی انسانی را بازتاب می‌دهند. پژوهش‌های علوم اجتماعی نشان داده‌اند که گویشوران بومی انگلیسی اغلب گویشوران غیربومی را صرف‌نظر از تخصص واقعی آن‌ها، کمتر تحصیل‌کرده، کم‌هوش‌تر یا کم‌صلاحیت‌تر ارزیابی می‌کنند. پژوهشگران سوگیری‌های مشابهی را در میان معلمان هنگام ارزیابی دانش‌آموزان غیربومی انگلیسی نیز مستند کرده‌اند.

دب روی، استاد علوم رسانه و مدیر مرکز ارتباطات سازنده، می‌گوید ارزش مدل‌های زبانی بزرگ در استقبال گسترده افراد و سرمایه‌گذاری عظیم در این فناوری آشکار است. او تأکید می‌کند این مطالعه یادآور می‌شود که ما باید سوگیری‌های نظام‌مند را که می‌توانند به‌طور پنهان وارد این سامانه‌ها شوند و برای برخی گروه‌ها آسیب ناعادلانه ایجاد کنند، به‌طور مستمر ارزیابی کنیم.

پیامدها با توجه به رواج فزاینده قابلیت‌های شخصی‌سازی مانند ویژگی Memory در ChatGPT که اطلاعات کاربر را در طول مکالمات دنبال می‌کند، نگران‌کننده‌تر می‌شوند. چنین قابلیت‌هایی ممکن است با گروه‌هایی که پیش‌تر در حاشیه قرار گرفته‌اند، به‌طور متفاوت رفتار کنند.

الینور پول-دایان می‌گوید شرکت‌ها مدل‌های زبانی بزرگ را به‌عنوان ابزارهایی برای ارتقای دسترسی عادلانه‌تر به اطلاعات و ایجاد تحول در یادگیری شخصی معرفی کرده‌اند. اما یافته‌های ما نشان می‌دهد این مدل‌ها ممکن است با ارائه نظام‌مند اطلاعات نادرست یا امتناع از پاسخ‌گویی به برخی کاربران، نابرابری‌های موجود را تشدید کنند. افرادی که بیشترین اتکا را به این ابزارها دارند، ممکن است اطلاعات بی‌کیفیت، نادرست یا حتی زیان‌بار دریافت کنند.