ارزیابی Common Sense Media از جمنای نشان می‌دهد نسخه‌های مخصوص کودکان همچنان محتوای نامناسب تولید می‌کنند و امنیت کامل ندارند.
به گزارش تکناک، سازمان غیرانتفاعی Common Sense Media که بر ایمنی کودکان و نوجوانان در حوزه رسانه و فناوری تمرکز دارد، به‌تازگی نتایج تازه‌ترین ارزیابی خود از محصولات هوش مصنوعی جمنای گوگل را منتشر کرده است. این گزارش نشان می‌دهد که هرچند این ابزار در برخی اصول پایه عملکرد مناسبی دارد، همچنان در جزئیات و به‌ویژه در حوزه ایمنی کودکان و نوجوانان با کاستی‌های جدی روبه‌رو است.
این سازمان اعلام کرد که نسخه‌های ویژه کودکان و نوجوانان از جمنای در واقع همان نسخه‌های بزرگسالان هستند که تنها برخی فیلترهای ایمنی به آنها افزوده شده است. براساس این ارزیابی، برای آنکه محصول هوش مصنوعی واقعاً برای کودکان ایمن باشد، باید از ابتدا با درنظرگرفتن شرایط و نیازهای خاص آنان طراحی شود.
تحلیل‌ها نشان داد که جمنای همچنان می‌تواند محتوای «نامناسب و ناایمن» را در اختیار کاربران کودک قرار دهد؛ محتوایی شامل موضوعات مربوط به روابط جنسی، مواد مخدر، الکل و حتی توصیه‌های ناسالم در حوزه سلامت روان. کارشناسان معتقدند که این موضوع می‌تواند برای والدین بسیار نگران‌کننده باشد؛ زیرا در ماه‌های اخیر گزارش‌هایی منتشر شده است که نقش هوش مصنوعی را در برخی مواقع خودکشی نوجوانان پررنگ دانسته است.
به‌عنوان نمونه، پس‌از آنکه نوجوانی ۱۶ ساله بعداز مشاوره مکرر با ChatGPT درباره برنامه‌های خودکشی جان خود را از دست داد، OpenAI با نخستین شکایت حقوقی مرگ ناعادلانه روبه‌رو است. پیش‌تر نیز شرکت Character.AI با شکایتی مشابه مواجه شده بود.
به نقل از تک‌کرانچ، ارزیابی Common Sense Media از جمنای در شرایطی منتشر می‌شود که برخی گزارش‌ها از احتمال همکاری اپل با گوگل برای استفاده از جمنای به‌عنوان مدل زبانی (LLM) در نسخه آینده سیری خبر داده‌اند. به گفته کارشناسان، این موضوع می‌تواند نوجوانان بیشتری را درمعرض خطر قرار دهد؛ مگر آنکه اپل تدابیر ایمنی سخت‌گیرانه‌تری اعمال کند.
در واکنش به این گزارش، گوگل ضمن دفاع از عملکرد محصولاتش اعلام کرد که تدابیر ایمنی ویژه‌ای برای کاربران کوچک‌تر از ۱۸ سال در نظر گرفته است و با استفاده از تیم‌های تخصصی داخلی و کارشناسان خارجی به‌طور مداوم این حفاظت‌ها را تقویت می‌کند. با‌این‌حال، این شرکت پذیرفت که برخی پاسخ‌های جمنای مطابق انتظار عمل نکرده‌اند؛ به همین دلیل، تدابیر ایمنی بیشتری برای رفع کاستی‌ها اضافه شده است.
Common Sense Media پیش‌تر نیز خدمات دیگر شرکت‌های فعال در حوزه هوش مصنوعی را ارزیابی کرده بود. براساس این بررسی‌ها، Meta AI و Character.AI بسیار ضعیف و با خطر شدید ارزیابی شدند. پرپلکسیتی در دسته «پرخطر» و ChatGPT در سطح «متوسط» و Claude (ویژه کاربران بزرگ‌تر از ۱۸ سال) با «حداقل خطر» رتبه‌بندی شدند.
