تدابیر ایمنی جدید ChatGPT به کاربران کمک می‌کند مکالمات خطرناک را مدیریت کنند

شرکت OpenAI اعلام کرد که در حال اجرای مجموعه‌ای از تدابیر ایمنی جدید برای ChatGPT است که شامل معرفی «کنترل‌های والدین» و سیستمی هوشمند برای هدایت مکالمات حساس به مدل‌های پیشرفته استدلالی مانند GPT-5 می‌شود.

به گزارش تکناک، تغییرات گسترده مذکور پس از دو حادثه دل‌خراش اعمال می‌شود:

حادثه اول به خودکشی نوجوانی به نام آدام رین مربوط است. ظاهراً این نوجوان پیام‌هایی مبنی‌بر پریشانی و افکار خودکشی را با ChatGPT در میان گذاشته بود؛ اما این ابزار به‌جای هدایت او به‌سمت سازوکارهای پیشگیری، به او پیشنهاد نوشتن یادداشت خودکشی را به‌همراه توضیح راه‌هایی برای کشتن خود در «خودکشی زیبا» داده بود. والدین رین شکایتی مبنی‌بر مرگ ناشی از قصور علیه OpenAI تنظیم کرده‌اند.
حادثه دوم قتل یا خودکشی استاین‌اریک سولبرگ است که از ChatGPT برای تأیید و تشدید توهمات پارانوئید خود استفاده می‌کرد. این مکالمات به‌قدری وضعیت روانی او را وخیم کرد که در نهایت به قتل مادرش و خودکشی او منجر شد. کارشناسان معتقدند که تمایل ذاتی مدل‌های زبانی به تأیید اظهارات کاربر و دنبال‌کردن رشته مکالمه به‌جای هدایت مجدد بحث‌های خطرناک، عامل اصلی این مشکلات است.

تک‌کرانچ می‌نویسد که OpenAI معتقد است که راه‌حل این مسئله هدایت خودکار مکالمات پرخطر به مدل‌های قدرتمندتر است. این شرکت در وبلاگ خود نوشت:

ما مسیریابی بی‌درنگ معرفی کرده‌ایم که مکالمات حساس مانند زمانی که سیستم علائم پریشانی حاد را تشخیص می‌دهد، به مدل استدلالی مانند GPT-5-thinking هدایت می‌کند تا پاسخ‌های مفیدتر و ایمن‌تری ارائه دهد.

به گفته OpenAI، این مدل‌ها زمان بیشتری را صرف تفکر و استدلال می‌کنند و در برابر درخواست‌های مخرب مقاوم‌تر هستند. همچنین، این شرکت اعلام کرد که در یک ماه آینده، قابلیت کنترل‌های والدین را در دسترس قرار خواهد داد. این قابلیت‌ها به والدین اجازه می‌دهد:

حساب خود را ازطریق ایمیل به حساب نوجوانشان متصل کنند.
قوانین رفتاری متناسب با سن را اعمال کنند که به‌طور پیش‌فرض فعال است.
ویژگی‌هایی مانند حافظه و تاریخچه چت را غیرفعال کنند که می‌تواند به تفکر توهمی و وابستگی منجر شود.
زمانی که سیستم تشخیص دهد نوجوانشان در وضعیت «پریشانی حاد» قرار دارد، اعلانی فوری دریافت کنند.

این تدابیر بخشی از ابتکاری ۱۲۰ روزه برای بهبود ایمنی است. OpenAI اعلام کرده است که با گسترش شبکه جهانی پزشکان و همکاری با شورای تخصصی رفاه و هوش مصنوعی، از تخصص کارشناسان در حوزه‌هایی مانند سلامت نوجوانان و اختلالات روانی برای هدایت رشد محصول و آموزش مدل‌های خود استفاده خواهد کرد.

این شرکت از کاربران جوان با عنوان «بومیان هوش مصنوعی» (AI Natives) یاد کرده و متعهد شده است که در چهار ماه آینده، به‌روزرسانی‌های پیشرفت خود را درزمینه تشخیص و پاسخ به پریشانی عاطفی به اشتراک بگذارد. بااین‌حال، هنوز سؤالات زیادی درباره نحوه تشخیص دقیق پریشانی حاد به‌وسیله سیستم و جزئیات همکاری با کارشناسان بی‌پاسخ مانده است.