مدل استدلال سلسله‌مراتبی HRM قابلیت استدلال پیچیده را با استفاده از داده‌های بسیار کمتر از مدل‌های زبان بزرگ (LLM) فراهم می‌آورد.
به گزارش تکناک، استارتاپ هوش مصنوعی Sapient Intelligence مستقر در سنگاپور از توسعه معماری هوش مصنوعی جدیدی خبر داده است که می‌تواند در انجام وظایف استدلالی پیچیده، با مدل‌های زبان بزرگ (LLM) رقابت کند و در برخی مواقع، عملکردی به‌مراتب بهتر ارائه دهد. نکته مهم اینکه معماری یادشده موسوم به مدل استدلال سلسله‌مراتبی (HRM)، بسیار کوچک‌تر است و به داده‌های کمتری نیاز دارد.
فهرست مطالب
الهام از مغز انسان و غلبه بر محدودیت‌های LLMها
مدل استدلال سلسله‌مراتبی (HRM) از نحوه عملکرد مغز انسان در استفاده از سیستم‌های متمایز برای برنامه‌ریزی آهسته و تفکر دقیق و محاسبات سریع و شهودی الهام گرفته است. این مدل با کسری از داده‌ها و حافظه مورد نیاز LLMهای کنونی، نتایج چشمگیری به دست می‌آورد. این کارایی پیامدهای مهمی برای کاربردهای هوش مصنوعی در دنیای واقعی می‌تواند در پی داشته باشد؛ به‌ویژه در شرایطی که داده‌ها کمیاب و منابع محاسباتی محدود هستند.
مدل‌های زبان بزرگ فعلی هنگام مواجهه با مسائل پیچیده، عمدتاً به «استدلال زنجیره‌ای تفکر» (CoT) متکی هستند. این روش مشکلات را به مراحل متنی میانی تقسیم و مدل را مجبور می‌کند تا حین تلاش برای یافتن راه‌حل، «بلند فکر کند».
محققان Sapient Intelligence استدلال می‌کنند که CoT راه‌حلی رضایت‌بخش نیست؛ زیرا به تجزیه و تحلیل‌های شکننده و تعریف‌شده انسان متکی است که در آن یک اشتباه کوچک می‌تواند کل فرایند استدلال را از مسیر خارج کند. این وابستگی به تولید صریح زبان استدلال مدل را محدود می‌کند و اغلب به مقادیر زیادی داده آموزشی و پاسخ‌های طولانی و کند نیاز دارد.
رویکرد سلسله‌مراتبی، استدلال نهفته و کارایی فراوان
برای غلبه بر محدودیت‌های CoT، محققان مفهوم «استدلال نهفته» را بررسی کردند. در این روش، مدل به‌جای تولید «توکن‌های فکری»، در نمایش انتزاعی و داخلی خود از مشکل استدلال می‌کند که این شیوه به تفکر انسان نزدیک‌تر است. این فرایند به مغز انسان شباهت دارد که زنجیره‌های طولانی و منسجم استدلال را با کارایی چشمگیری در فضایی نهفته بدون نیاز به ترجمه مداوم به زبان حفظ می‌کند.
دستیابی به این سطح از استدلال عمیق و داخلی در هوش مصنوعی دشوار است؛ زیرا افزودن لایه‌های بیشتر به مدل‌های یادگیری عمیق می‌تواند به مشکل «گرادیان ناپدیدشونده» منجر شود و معماری‌های بازگشتی نیز ممکن است دچار «همگرایی زودهنگام» شوند.
تیم Sapient برای یافتن راه‌حلی بهتر، به علم اعصاب روی آورد. با الهام از ساختار مغز انسان که محاسبات را به‌صورت سلسله‌مراتبی در مناطق قشری با مقیاس‌های زمانی مختلف سازمان‌دهی می‌کند، آنان HRM را با دو ماژول بازگشتی و مرتبط به‌هم طراحی کردند: یکی ماژول سطح بالا (H) برای برنامه‌ریزی آهسته و انتزاعی و دیگری ماژول سطح پایین (L) برای محاسبات سریع و جزئی. این ساختار فرایند «همگرایی سلسله‌مراتبی» را امکان‌پذیر می‌سازد که به مدل اجازه می‌دهد تا دنباله‌ای از محاسبات متمایز و پایدار را انجام دهد.
نتایج شگفت‌انگیز در عمل
محققان برای آزمایش مدل خود HRM را در برابر معیارهایی قرار دادند که به جست‌وجو و بازگشت گسترده نیاز دارند؛ مانند Abstraction and Reasoning Corpus (ARC-AGI) و پازل‌های سودوکوی بسیار دشوار و وظایف پیچیده حل هزارتو.
نتایج نشان می‌دهد که HRM می‌تواند مشکلاتی را حل کند که حتی برای LLMهای پیشرفته نیز حل‌نشدنی هستند. به‌عنوان مثال، در معیارهای Sudoku-Extreme و Maze-Hard، مدل‌های CoT پیشرفته با دقت صفر درصد کاملاً شکست خوردند؛ در‌حالی‌که HRM پس‌از آموزش فقط ۱,۰۰۰ مثال برای هر وظیفه، به دقت تقریباً کامل دست یافت.
در معیار ARC-AGI، مدل استدلال سلسله‌مراتبی (HRM) با ۲۷ میلیون پارامتر، امتیاز ۴۰/۳ درصد را کسب کرد که از مدل‌های پیشرو مبتنی‌بر CoT مانند o3-mini-high (۳۴/۵ درصد) و Claude 3.7 Sonnet (۲۱/۲ درصد) پیشی گرفت. این عملکرد که بدون مجموعه داده بزرگ پیش‌آموزشی و با داده‌های بسیار محدود به دست آمده است، قدرت و کارایی معماری آن را برجسته می‌کند.
کاربردها و چشم‌انداز آینده
گوان وانگ، بنیانگذار و مدیرعامل Sapient Intelligence، معتقد است که توسعه‌دهندگان باید همچنان از LLMها برای وظایف زبان‌محور یا خلاقانه استفاده کنند؛ اما برای وظایف پیچیده یا قطعی، معماری‌های شبیه به HRM عملکردی برتر با خطاهای کمتر ارائه می‌دهند. او به مسائل ترتیبی اشاره می‌کند که به تصمیم‌گیری پیچیده یا برنامه‌ریزی بلندمدت نیاز دارند؛ به‌ویژه در زمینه‌های حساس به تأخیر مانند هوش مصنوعی رباتیک یا حوزه‌های کم‌داده مانند اکتشافات علمی.
به نقل از Venturebeat، وانگ تخمین می‌زند که پردازش موازی HRM می‌تواند به افزایش ۱۰۰ برابری سرعت در زمان تکمیل وظیفه منجر شود. این به‌معنای تأخیر کمتر و توانایی اجرای استدلال قدرتمند روی دستگاه‌های Edge است. صرفه‌جویی در هزینه‌ها نیز مهم است.
آموزش مدل برای سودوکوی حرفه‌ای تقریباً دو ساعت GPU و برای معیار پیچیده ARC-AGI بین ۵۰ تا ۲۰۰ ساعت GPU زمان می‌برد؛ کسری از منابع مورد نیاز برای مدل‌های بنیادین عظیم. این موضوع راه را برای حل مشکلات تجاری تخصصی از بهینه‌سازی لجستیک گرفته تا تشخیص سیستم‌های پیچیده باز می‌کند که هم داده و هم بودجه محدود هستند.
درحال‌حاضر، Sapient Intelligence تلاش می‌کند تا HRM را از حل‌کننده مشکل تخصصی به ماژول استدلال عمومی‌تر تبدیل کند. وانگ با اشاره به نتایج اولیه امیدوارکننده در حوزه‌های مراقبت‌های بهداشتی و پیش‌بینی اقلیم و رباتیک، اظهار کرد که این مدل‌های نسل بعدی با سیستم‌های متنی امروزی بسیار متفاوت خواهند بود؛ به‌ویژه با گنجاندن قابلیت‌های خوداصلاحی.
این کار نشان می‌دهد که برای دسته‌ای از مشکلات که غول‌های هوش مصنوعی امروزی را به چالش کشیده‌اند، مسیر رو‌به‌جلو ممکن است مدل‌های بزرگ‌تر نباشد؛ بلکه معماری‌های هوشمندتر و ساختارمندتر با الهام از مغز انسان باشد.
