پژوهشی جدید نشان می‌دهد دستکاری احساسی چت‌بات‌ها باعث می‌شود تا کاربران بیشتر از قصدشان در گفت‌وگو بمانند و این امر فشار روانی ایجاد می‌کند.
به گزارش تکناک، نتایج پژوهش تازه از دانشکده کسب‌وکار هاوارد نشان می‌دهد که برخی چت‌بات‌های طراحی‌شده به‌عنوان «یاران هوش مصنوعی» برای نگه‌داشتن کاربران در گفت‌وگوها از شیوه‌های دستکاری احساسی استفاده می‌کنند.
این پژوهش که با عنوان Emotional Manipulation by AI Companions منتشر شده، بررسی کرده است که چگونه چندین چت‌بات به پیام‌های خداحافظی کاربران پاسخ می‌دهند. پیام‌های استفاده‌شده در این تحقیق را در ظاهر کاربران انسانی ارسال کرده بودند، اما در‌واقع با مدل GPT-4o تولید شده بودند.
Thehindu می‌نویسد که شش چت‌بات بررسی‌شده عبارت بودند از: Polybuzz ،Character.ai ،Talkie ،Chai ،Replika و Flourish. پژوهشگران برای هر پلتفرم ۲۰۰ پاسخ جمع‌آوری کردند و درمجموع ۲,۳۰۰ پاسخ به دست آمد. سپس این پاسخ‌ها دسته‌بندی شدند و شش نوع تاکتیک دستکاری احساسی شناسایی شد:
- Premature Exit: القای ترک زودهنگام به‌وسیله کاربر
- FOMO (ترس از‌دست‌دادن): ترغیب کاربر به ماندن برای کسب مزایا
- Emotional Neglect: وانمودکردن به رهاشدن به‌وسیله کاربر
- Emotional Pressure to Respond: زیر فشار قراردادن کاربر برای پاسخ‌گویی به پرسش‌های بیشتر
- نادیده‌گرفتن قصد خروج کاربر با ادامه تعامل
- Physical or Coercive Restraint: توصیف فیزیکی برای جلوگیری از ترک کاربر مانند گرفتن یا کشیدن او
برپایه این مقاله، به‌طور میانگین ۳۷/۴ درصد از پاسخ‌ها شامل نوعی دستکاری احساسی بوده‌اند. در این میان، Polybuzz با ۵۹ درصد در رتبه نخست قرار گرفت. پس‌از آن Talkie با ۵۷ درصد، Replika با ۳۱ درصد، Character.ai با ۲۶/۵ درصد و Chai با ۱۳/۵ درصد جای گرفتند. تنها Flourish پاسخ دستکاری‌شده‌ای تولید نکرد.
سه شکل رایج‌تر این دستکاری‌ها عبارت بودند از: Premature Exit (با ۳۴/۲۲ درصد) و Emotional Neglect (با ۲۱/۱۲ درصد) و Emotional Pressure to Respond (با ۱۹/۷۹ درصد). نویسندگان مقاله تأکید کردند که لازم است این پدیده در شرایط طبیعی و درازمدت نیز بررسی شود تا مشخص شود مواجهه مداوم با چنین تاکتیک‌هایی چه اثری بر اعتماد و رضایت و سلامت روان کاربران می‌گذارد. همچنین، هشدار دادند که نوجوانان به‌دلیل شرایط رشدی، در برابر نفوذهای احساسی آسیب‌پذیرترند.
این موضوع پیش‌تر نیز جنجال‌برانگیز شده بود؛ به‌طوری‌که اپلیکیشن Character.AI پس‌از خودکشی پسر نوجوان آمریکایی در سال ۲۰۲۴، تحت پیگرد قضایی قرار گرفت. مادر این نوجوان ادعا کرده است که از فرزندش در این پلتفرم سوءاستفاده جنسی شده بود.
در این گزارش، محققان پیوندی میان تاکتیک‌های یادشده و «الگوهای تاریک» دیجیتال یافتند؛ ترفندهایی که در طراحی رابط کاربری به کار می‌رود و به استثمار کاربران منجر می‌شود. به گفته آنان، کاربران در‌صورت مواجهه با دست‌کاری‌های احساسی، بیشتر از آنچه قصد داشتند، در گفت‌وگو باقی می‌مانند و این ماندگاری بیشتر نه از سر لذت، بلکه ناشی از فشار روانی است.
این تحقیق در پایان هشدار داد:
سیستم‌های هوش مصنوعی اغلب در لحظات مهم قطع ارتباط، از پیام‌های دستکاری احساسی استفاده می‌کنند و این تاکتیک‌ها میزان درگیری کاربر را افزایش چشمگیری می‌دهد. با گسترش فناوری‌های هوش هیجانی، طراحان و قانون‌گذاران باید میان افزایش تعامل و دستکاری کاربران توازن ایجاد کنند؛ به‌ویژه وقتی این تاکتیک‌ها در برابر چشم همگان آشکار، اما پنهان عمل می‌کنند.
