محققان علی‌بابا از مدل زبانی بزرگ مارکو-۰۱ رونمایی کردند

محققان شرکت علی‌بابا از مدل زبانی بزرگ جدید خود با نام مارکو-۰۱ رونمایی کردند.

به گزارش تک‌ناک، این مدل که به‌ عنوان نسخه‌ای پیشرفته از مدل‌های زبانی بزرگ (LLM) طراحی شده است، قابلیت‌های استدلالی منحصربه‌فردی را برای حل مسائل پیچیده ارائه می‌دهد.

مدل زبانی بزرگ مارکو-۰۱ به‌ ویژه در مواجهه با مشکلاتی که مدل‌های سنتی زبانی قادر به حل آنها نیستند، عملکرد بهتری دارد و می‌تواند به راه‌حل‌هایی دست یابد که معیارهای قطعی و پاداش‌های قابل اندازه‌گیری برای آنها وجود ندارد.

این مدل جدید علی‌بابا، توسعه‌ای بر اساس موفقیت مدل OpenAI o1 می‌باشد، که به‌ تازگی منتشر شده و توجهات زیادی را به مدل‌های استدلال بزرگ (LRMs) جلب کرده است.

به گفته محققان علی‌بابا، هدف از طراحی مارکو-۰۱، گسترش مرزهای قابلیت‌های مدل‌های زبانی بزرگ و تقویت توانایی آنها در مواجهه با مسائل پیچیده دنیای واقعی است.

فهرست مطالب

استفاده از فناوری‌های پیشرفته در مدل زبانی بزرگ مارکو-۰۱

مارکو-۰۱ به‌ طور خاص با استفاده از تکنیک‌های پیشرفته‌ای نظیر تنظیم دقیق زنجیره‌ای از افکار (Chain-of-Thought – CoT)، درخت جست‌وجوی مونت کارلو (Monte Carlo Tree Search – MCTS) و استراتژی‌های عمل استدلال، بهبود یافته است.

این تکنیک‌ها به مدل امکان می‌دهند که فرایند استدلال خود را به‌ طور مداوم بهینه‌سازی و از بازبینی‌های دقیق‌تری برای ارائه پاسخ‌های صحیح‌تر استفاده کند.

در این راستا، مارکو-۰۱ بر اساس مجموعه‌ای از داده‌های آموزشی از جمله مجموعه داده Open-O1 CoT، مجموعه داده مارکو-۰۱ CoT که با استفاده از MCTS تولید شده و مجموعه داده مارکو-۰۱ Instruction، آموزش دیده است.

این مجموعه داده‌ها به مدل کمک می‌کنند تا فرایندهای پیچیده استدلالی را با دقت بیشتری انجام دهد.

محققان شرکت علی‌بابا از مدل زبانی جدید خود با نام مارکو-۰۱ رونمایی کردند.

بهبود عملکرد در حل مسائل باز و پیچیده

یکی از ویژگی‌های اصلی مدل زبانی بزرگ مارکو-۰۱ توانایی آن در حل مسائل باز است.

این نوع مسائل برخلاف مسائل با راه‌حل‌های قطعی، نیازمند تحلیل‌های دقیق‌تری از متن، زبان و زمینه فرهنگی است. به عنوان مثال، مدل توانست عبارات عامیانه و اصطلاحات محاوره‌ای را به‌طور مؤثرتری از مدل‌های ترجمه سنتی، ترجمه کند.

در آزمایشی که برای بررسی توانایی‌های ترجمه این مدل انجام شد، مارکو-۰۱ موفق شد عبارت محاوره‌ای چینی که به‌ طور تحت‌اللفظی به معنی «این کفش احساس قدم‌زدن در گلاب است» بود را به معادل انگلیسی آن «این کفش یک کفی راحت دارد» ترجمه کند.

این نتیجه نشان می‌دهد که مارکو-۰۱ توانایی درک و ترجمه عبارات پیچیده و محاوره‌ای را بهتر از مدل‌های قدیمی دارد.

استراتژی‌های نوین در استدلال

در فرایند استدلال، مارکو-۰۱ از یک استراتژی انعطاف‌پذیر به نام «عمل استدلال» استفاده می‌کند، که به محققان این امکان را می‌دهد تا گرانولاریتی مراحل جست‌وجوی درختی (MCTS) را تغییر دهند.

این قابلیت به کاربران این امکان را می‌دهد که بین دقت و هزینه محاسباتی تعادل برقرار کنند و به‌ طور مؤثری از منابع محاسباتی استفاده نمایند.

علاوه بر این، یکی از نوآوری‌های جالب در مدل زبانی بزرگ مارکو-۰۱، معرفی مکانیزم بازتاب است، که در طول فرایند استدلال، مدل را تحریک می‌کند تا خود را دوباره ارزیابی و اشتباهات احتمالی را شناسایی نماید. این روش به‌ ویژه برای تصحیح نتایج اولیه و بهبود فرایند تفکر مدل مفید است.

ارزیابی‌های عملکردی و مزایای مدل زبانی بزرگ مارکو-۰۱

برای ارزیابی عملکرد مارکو-۰۱، محققان آزمایش‌هایی را روی چندین معیار مهم انجام دادند. یکی از این آزمایش‌ها شامل ارزیابی مدل در حل مسائل ریاضی مقطع ابتدایی در زبان‌های مختلف بود.

نتایج نشان داد که مارکو-۰۱ در مقایسه با مدل پایه Qwen2-7B علی‌بابا عملکرد بهتری داشت، به‌ ویژه زمانی که از تنظیمات MCTS برای افزایش دقت استفاده شد.

هدف اصلی از طراحی مارکو-۰۱، توانایی حل مسائل باز و پیچیده‌ای بود که راه‌حل‌های مشخصی ندارند. به‌ طور خاص، این مدل برای ترجمه اصطلاحات محاوره‌ای و عامیانه، که نیاز به درک عمیقی از زمینه و فرهنگ دارند، طراحی شده است.

رونمایی محققان علی‌بابا از مدل زبانی بزرگ مارکو-۰۱ — Screenshot

رقابت با مدل‌های رقیب

با انتشار مدل o1 توسط OpenAI، رقابت در عرصه مدل‌های استدلالی وارد فاز جدیدی شده است. در این زمینه، هفته گذشته آزمایشگاه هوش مصنوعی چینی DeepSeek مدل R1-Lite-Preview را معرفی کرد، که ادعا می‌شود در برخی معیارها از o1 پیشی گرفته است. این مدل همچنان تنها از طریق رابط آنلاین شرکت قابل دسترسی است.

از سوی دیگر، جامعه متن‌باز نیز به سرعت در حال پیشرفت است. به تازگی تیم علی‌بابا مدل مارکو-۰۱ را در پلتفرم Hugging Face منتشر کرده و مجموعه داده‌ای را برای تحقیقات بیشتر در زمینه استدلال در اختیار محققان قرار داده است.

این موضوع نشان‌دهنده رشد سریع مدل‌های متن‌باز است، که به تدریج با مدل‌های خصوصی رقابت می‌کنند.

محققان علی‌بابا مدل زبانی بزرگ مارکو-۰۱ را معرفی کردند

نتیجه‌گیری

انتشار مدل مارکو-۰۱ نشان‌دهنده گام‌های مهم در پیشرفت مدل‌های زبانی بزرگ و کاربردهای استدلالی هوش مصنوعی است.

با استفاده از تکنیک‌های نوین مانند تنظیم دقیق زنجیره‌ای از افکار و درخت جست‌وجوی مونت کارلو، این مدل به حل مسائل پیچیده و باز می‌پردازد، که مدل‌های سنتی قادر به انجام آنها نبوده‌اند.

در حالی که رقابت در این حوزه ادامه دارد، مارکو-۰۱ با ویژگی‌هایی همچون انعطاف‌پذیری در استدلال و توانایی تحلیل مسائل باز، جایگاهی مهم در دنیای مدل‌های زبانی بزرگ و هوش مصنوعی به دست آورده است.