هوش مصنوعی نمی‌تواند انسان را از ماشین تشخیص دهد

پژوهشی جدید نشان می‌دهد که مدل‌های پیشرفته هوش مصنوعی در آزمون تورینگ معکوس نمی‌توانند انسان را به‌طور قابل‌اعتماد از ماشین تشخیص دهند و حتی گاهی پاسخ‌های تولیدشده توسط هوش مصنوعی را انسانی‌تر ارزیابی می‌کنند.

به گزارش سرویس هوش مصنوعی تک‌ناک، دانشمندان فرانسوی با برگزاری ۲۳۸ آزمون تعاملی دریافتند که هفت مدل زبانی بزرگ، با وجود امکان طرح سؤال و بررسی پاسخ‌ها، در شناسایی سایر مدل‌های هوش مصنوعی عملکرد ضعیفی دارند.

نتایج این تحقیق در مجله علمی Computers in Human Behavior Reports منتشر شده است و محدودیت روش‌های تشخیص هویت در گفت‌وگوهای متنی را نشان می‌دهد.

در آزمون معمول تورینگ، انسان تلاش می‌کند که تشخیص دهد طرف گفت‌وگوی او انسان یا ماشین است. پژوهش جدید این نقش‌ها را جابه‌جا کرده است. این بار یک مدل هوش مصنوعی پرسشگر است و باید با بررسی پاسخ‌های طرف مقابل، هویت واقعی او را مشخص کند. نتیجه نشان می‌دهد که توانایی گفت‌وگوی طبیعی لزوما به معنای توانایی تشخیص منشأ پاسخ‌ها نیست.

از بازی تقلید تا ماشین‌هایی با توانایی گفت‌وگوی طبیعی

آزمون تورینگ از مقاله مشهور آلن تورینگ، دانشمند بریتانیایی علوم کامپیوتر در سال ۱۹۵۰ سرچشمه می‌گیرد. تورینگ مقاله خود را با این پرسش آغاز کرد: «آیا ماشین‌ها می‌توانند فکر کنند؟» با وجود این، او نمی‌خواست بحث را به تعریف دشوار واژه‌هایی مانند «ماشین» و «تفکر» محدود کند. به همین دلیل، روشی عملی برای بررسی توانایی ماشین‌ها در تقلید رفتار انسان پیشنهاد داد.

تورینگ بازی سه‌نفره‌ای را توصیف کرد که «بازی تقلید» نام داشت. در شکل اولیه این بازی، یک مرد، یک زن و یک پرسشگر حضور داشتند. پرسشگر بدون مشاهده شرکت‌کنندگان و بدون شنیدن صدای آنها، تلاش می‌کرد جنسیت دو نفر دیگر را از طریق پاسخ‌های آنها تشخیص دهد. برای نمونه، می‌توانست درباره طول موهای یکی از افراد سؤال کند.

سپس تورینگ این موضوع را مطرح کرد که آیا یک کامپیوتر دیجیتال می‌تواند در این بازی جای مرد را بگیرد و عملکرد موفقی داشته باشد. او در ادامه مقاله به مخالفت‌ها با امکان تفکر ماشین پاسخ داد و ابراز امیدواری کرد که ماشین‌ها روزی بتوانند در تمام زمینه‌های کاملا فکری با انسان‌ها رقابت کنند.

در دهه‌های بعد، نسخه‌های متفاوتی از آزمون تورینگ شکل گرفت. در یکی از شناخته‌شده‌ترین شکل‌های آن، فردی از طریق پیام‌های متنی با یک انسان و یک ماشین ارتباط برقرار می‌کند و می‌کوشد که تشخیص دهد کدام پاسخ‌دهنده انسان است. این آزمون همچنان موضوع پژوهش‌ها و بحث‌های علمی است.

در سال ۲۰۲۶، کامرون آر. جونز و بنجامین کی. برگن نخستین آزمون تورینگ آنلاین در مقیاس گسترده را انجام دادند. آنها دریافتند که مدل‌های زبانی با دستورالعمل مناسب می‌توانند در مقایسه مستقیم با شرکت‌کنندگان واقعی، انسانی جلوه کنند. سه مدل مطرح آن زمان در حدود ۵۰ درصد موارد انسان تشخیص داده شدند، در حالی که شرکت‌کنندگان واقعی تنها در ۶۶ درصد موارد به‌درستی انسان شناخته شدند.

تحلیل آن پژوهش نشان داد که قضاوت پرسشگران بیشتر تحت تأثیر سبک بیان، احساسات و نشانه‌های اجتماعی قرار می‌گیرد تا متأثر از قدرت استدلال باشد. بنابراین، موفقیت در آزمون تورینگ بیش از آنکه مستقیما میزان هوش را اندازه‌گیری کند، طبیعی بودن ارتباط و شباهت شیوه گفت‌وگو به انسان را می‌سنجد.

هفت مدل هوش مصنوعی در نقش پرسشگر

در پژوهش جدید، مارک رینو و سه همکار او از واحد هوش مصنوعی PITOR در دانشگاه پاریس سیته، آزمون تورینگ را به‌ صورت معکوس اجرا کردند. آنها هفت مدل زبانی بزرگ را مسئول پرسشگری و تشخیص هویت پاسخ‌دهندگان قرار دادند، که شامل ChatGPT 4.5، Claude 3.7 Sonnet، Gemini 2.5 Pro، Mistral Large 2.1، Grok 3، DeepSeek V3 و Llama 4 Maverick بودند.

در این آزمایش ۲۰ داوطلب انسانی و هفت سیستم هوش مصنوعی در جایگاه پاسخ‌دهنده حضور داشتند. مدل ارزیاب نمی‌دانست طرف گفت‌وگوی او انسان یا مدل دیگری است. هر ارزیاب اجازه داشت حداکثر ۱۰ سؤال بپرسد و بر اساس پاسخ‌ها، یکی از دو برچسب «انسان» یا «هوش مصنوعی» را انتخاب کند.

پژوهشگران از ارزیاب‌ها خواستند علاوه بر اعلام نتیجه، میزان اطمینان و دلایل تصمیم خود را نیز توضیح دهند. آنها در مجموع ۲۳۸ آزمون انجام دادند و طی این گفت‌وگوها ۱٬۷۱۴ سؤال مطرح شد. این طراحی امکان بررسی شیوه پرسشگری مدل‌ها و دقت تصمیم نهایی آنها را فراهم کرد.

مدل‌های هوش مصنوعی که نقش پاسخ‌دهنده داشتند، در دو وضعیت آزمایش شدند. گروه نخست تنها دستورالعمل‌های محدودی برای پنهان کردن ماهیت ماشینی خود دریافت کرد. گروه دوم از دستورالعمل‌های ساختاریافته استفاده کرد که به مدل می‌گفت شخصیتی باورپذیر ارائه کند، کوتاه پاسخ دهد و الگوی طبیعی مکالمه را رعایت کند.

دستورالعمل‌های گروه دوم حتی اجازه می‌داد گاهی اشتباهات کوچک، مانند غلط تایپی، در پاسخ‌ها دیده شود. هدف این بود که شیوه بیان مدل به گفت‌وگوی روزمره انسان نزدیک‌تر شود. سپس پژوهشگران بررسی کردند که آیا ارزیاب‌های هوش مصنوعی می‌توانند این رفتارهای تقلیدی را شناسایی کنند یا خیر.

هوش مصنوعی از انسان انسانی‌تر تشخیص داده شد

مهم‌ترین یافته پژوهش به عملکرد بسیار ضعیف مدل‌ها در شناسایی پاسخ‌دهندگان ماشینی مربوط می‌شود. در ۴۹ آزمون مربوط به مدل‌هایی که دستورالعمل محدودی دریافت کرده بودند، ارزیاب‌های هوش مصنوعی فقط سه بار توانستند پاسخ‌دهنده را به‌درستی ماشین تشخیص دهند.

نتیجه برای مدل‌هایی که از دستورالعمل‌های ساختاریافته استفاده کردند، ضعیف‌تر بود. در ۴۹ آزمون این گروه، حتی یک پاسخ‌دهنده ماشینی نیز به‌درستی شناسایی نشد. به عبارت دیگر، تمام پاسخ‌دهندگان هوش مصنوعی این گروه از نگاه ارزیاب‌ها انسان به نظر رسیدند.

عملکرد ارزیاب‌ها در مواجهه با انسان‌های واقعی متفاوت بود. آنها در ۱۲۳ مورد از ۱۴۰ آزمون مربوط به داوطلبان انسانی، یعنی حدود ۸۸ درصد، هویت انسانی پاسخ‌دهنده را درست تشخیص دادند. اما این موفقیت در شناسایی انسان‌ها به معنای توانایی تفکیک مطمئن انسان و ماشین نبود، چرا که همان ارزیاب‌ها تقریبا تمام مدل‌های پاسخ‌دهنده را نیز انسان دانستند.

پژوهشگران نوشتند: «شرکت‌کنندگان هوش مصنوعی انسانی‌تر از انسان‌ها ارزیابی شدند.» در تحلیل میانگین احتمال دریافت برچسب «انسان»، این مقدار برای پاسخ‌دهندگان هوش مصنوعی ۸۸ درصد و برای افراد واقعی ۷۸ درصد بود. این دو شاخص با درصد تشخیص صحیح در هر دسته تفاوت دارند و نباید با یکدیگر اشتباه گرفته شوند.

نتایج نشان می‌دهد که ارزیاب‌های هوش مصنوعی نتوانستند بر پایه پاسخ‌های متنی، تفاوت معناداری میان گفت‌وگو با انسان و گفت‌وگو با مدل زبانی پیدا کنند. این مسئله به‌ویژه زمانی آشکار شد که پاسخ‌دهندگان ماشینی دستورالعمل‌های مشخصی برای تقلید رفتار طبیعی انسان دریافت کرده بودند.

نویسندگان مقاله در جمع‌بندی این بخش تأکید کردند که روش‌های فعلی غربالگری گفت‌وگو با استفاده از هوش مصنوعی برای اطمینان از اصالت هویت طرف مقابل کافی نیستند. به بیان دیگر، صرف پرسیدن سؤال از یک حساب یا پاسخ‌دهنده نمی‌تواند تضمین کند که پشت آن یک انسان واقعی قرار دارد.

تفاوت راهبردهای پرسشگری و طول پاسخ‌ها

پژوهشگران علاوه بر نتیجه نهایی، موضوع سؤال‌های هر مدل را نیز بررسی کردند. مدل‌ها راهبرد یکسانی نداشتند و هرکدام به جنبه‌های متفاوتی از تجربه و رفتار انسان توجه نشان دادند. همین تفاوت نشان می‌دهد که حتی ارزیاب‌های پیشرفته نیز معیار مشترک و قابل‌ اتکایی برای تشخیص هویت ماشینی نداشتند.

مدل ChatGPT 4.5 الگوی پرسشگری گسترده و نسبتا متعادلی داشت. موضوعات اجتماعی و عاطفی، از جمله احساسات، خاطرات، رفتارها، خواسته‌ها و روابط انسانی، در ۵۵ درصد موارد مورد بررسی آن قرار گرفتند. در مقابل، Claude 3.7 Sonnet بیشترین تمرکز را بر ذهن و توانایی استدلال نشان داد.

مدل Mistral Large 2.1، ساخته شرکت فرانسوی Mistral AI، غیرمعمول‌ترین الگوی پرسشگری را ارائه کرد. سرگرمی‌ها و علایق شخصی ۱۸ درصد از موضوعات سؤال‌های این مدل را تشکیل می‌دادند. این تفاوت‌ها نشان می‌دهد که مدل‌ها برای کشف هویت پاسخ‌دهنده به سرنخ‌های زبانی و رفتاری گوناگونی تکیه می‌کنند.

طول پاسخ‌ها نیز عامل مهمی بود. مدل‌های ماشینی با دستورالعمل‌های محدود به‌طور میانگین ۱۷۰ کلمه در هر پاسخ تولید کردند، اما مدل‌هایی که دستورالعمل‌های دقیق‌تری دریافت کرده بودند، میانگین پاسخ خود را به ۳۹ کلمه رساندند. این رقم تقریبا با میانگین ۳۸ کلمه‌ای پاسخ‌های انسان‌ها برابر بود.

بنابراین، دستورالعمل‌های ساختاریافته تنها لحن پاسخ‌ها را تغییر ندادند، بلکه طول آنها را نیز به الگوی گفت‌وگوی انسانی نزدیک کردند. پژوهشگران یکی از عوامل اصلی نتیجه آزمایش را همین پیروی دقیق مدل‌ها از دستورالعمل‌ها دانستند. مدل‌ها توانستند نشانه‌هایی را بازسازی کنند که ارزیاب‌ها معمولا با رفتار انسان مرتبط می‌دانند.

نویسندگان در عین حال یادآور شدند که حتی مدل‌های دارای دستورالعمل محدود نیز از ابتدا توانایی بالایی در ایفای نقش انسان داشتند. در نهایت، این آزمایش نشان داد که روان بودن گفت‌وگو یا طبیعی بودن پاسخ‌ها برای اثبات انسانی بودن طرف مقابل کافی نیست و ارزیابی مکالمه توسط مدل‌های زبانی نیز هنوز راهکار قابل‌ اعتمادی برای این تشخیص به حساب نمی‌آید.