پاسخ محققان به پژوهش جنجالی اپل: ایراد از ارزیابی است نه هوش مصنوعی

محققان در پاسخ به نتایج مقاله پر سر و صدای اپل درباره ناتوانی مدل‌های هوش مصنوعی در حل مسائل پیچیده گفتند که مشکل از نقص‌های ارزیابی است و ارتباطی با هوش مصنوعی ندارد.

به گزارش تک‌ناک، مقاله اخیر اپل با عنوان «توهم تفکر» (The Illusion of Thinking) که به بررسی توانایی مدل‌های بزرگ استدلالی (LRM) در حل مسائل پیچیده پرداخته بود، بازتاب گسترده‌ای در میان پژوهشگران هوش مصنوعی داشت. اپل در این مقاله به صراحت نتیجه گرفته بود که حتی پیشرفته‌ترین مدل‌ها نیز در مواجهه با وظایف پیچیده دچار فروپاشی می‌شوند. اما همه این تحلیل را قبول ندارند.

الکس لاوسن، پژوهشگر بنیاد Open Philanthropy روز گذشته، مقاله‌ای تحلیلی منتشر کرد که بسیاری از یافته‌های بحث‌برانگیز اپل را ناشی از ضعف در طراحی آزمایش‌ها دانسته است. این مقاله با همکاری مدل هوش مصنوعی کلود اوپوس (Claude Opus) از شرکت Anthropic نوشته شده است.

لاوسن در مقاله خود با عنوان «توهمِ توهم تفکر» به این موضوع پرداخته است که اگرچه مدل‌های فعلی در حل پازل‌های پیچیده برنامه‌ریزی دچار چالش می‌شوند، اما اپل در تفسیر نتایج، میان محدودیت‌های خروجی عملی و نقص‌های طراحی ارزیابی با شکست واقعی در استدلال خلط کرده است.

او سه ایراد اصلی را به روش اپل وارد می‌داند:

• نادیده گرفتن محدودیت‌های توکن خروجی:

شرکت اپل مدعی است که مدل‌ها در پازل‌هایی مانند برج هانوی با ۸ دیسک یا بیشتر دچار فروپاشی می‌شوند، اما لاوسن می‌گوید که مدل‌هایی مانند Claude در این موارد به سقف ظرفیت توکن‌های خروجی خود رسیده‌اند. به گفته او، خروجی‌های واقعی مدل‌ها به صراحت اشاره می‌کنند: «الگو ادامه دارد، اما برای صرفه‌جویی در توکن‌ها متوقف می‌شوم.»

• شمارش پازل‌های غیرقابل حل به عنوان شکست:

به گفته لاوسن، در آزمون عبور از رودخانه اپل، نمونه‌هایی از پازل‌ها گنجانده شده بود که اصولاً غیرقابل حل بودند (برای مثال، بیش از ۶ جفت کاراکتر با قایقی که ظرفیت عبور همه را نداشت). مدل‌ها به دلیل تشخیص این موضوع و عدم تلاش برای حل آنها، نمره منفی گرفته‌اند.

• عدم تمایز میان شکست استدلالی و محدودیت خروجی:

شرکت اپل از اسکریپت‌های ارزیابی خودکاری استفاده کرده است، که تنها پاسخ‌هایی با فهرست کامل حرکات را به عنوان موفقیت تلقی کرده‌اند. به همین دلیل، خروجی‌های جزئی یا استراتژیک به عنوان شکست کامل ثبت شده‌اند.

لاوسن برای اثبات ادعای خود، بخشی از آزمون‌های برج هانوی را به شیوه‌ای متفاوت بازآزمایی کرده است: به جای فهرست کامل حرکات، از مدل‌ها خواسته است یک تابع بازگشتی به زبان Lua بنویسند که راه‌حل را تولید کند. نتیجه؟ مدل‌هایی مانند Claude، Gemini و o3 از OpenAI بدون مشکل توانستند راه‌حل الگوریتمی صحیح برای پازل‌هایی با ۱۵ دیسک ارائه دهند؛ یعنی به‌مراتب فراتر از پیچیدگی‌ که اپل در آن موفقیتی گزارش نکرده بود.

لاوسن نتیجه‌گیری می‌کند: «زمانی که محدودیت‌های مصنوعی خروجی را حذف می‌کنیم، مدل‌های زبانی بزرگ توان استدلال درباره وظایف پیچیده را دارند؛ حداقل در زمینه تولید الگوریتم به این صورت است.»