برتری مدل منبع باز Phi-3 مایکروسافت بر LLM اپل

مدل LLM منبع باز اپل در معیارهای مختلف عملکرد، از Phi-3، جدیدترین مدل LLM منبع‌باز مایکروسافت، بسیار عقب مانده است.

به‌گزارش تک‌ناک، مایکروسافت در ماه آوریل مدل‌های زبان کوچک (SLM) از خانواده‌ی Phi-3 را معرفی کرد. مدل‌های Phi-3 در معیارهای مهم عملکرد با اختلاف زیاد مدل‌هایی با اندازه‌ی مشابه و حتی بزرگ‌تر را پشت‌سر گذاشتند.

در‌واقع، کوچک‌ترین مدل، یعنی Phi-3-mini، از مدل‌هایی با دو برابر اندازه‌ی خود بهتر عمل می‌کند؛ در‌حالی‌که Phi-3-small و Phi-3-medium از مدل‌های بزرگ‌تری مانند GPT-3.5 توربو عملکرد بهتری از خود نشان می‌دهند.

نئووین می‌نویسد که تیم DataComp for Language Models (DCLM) اپل به‌تازگی مدل LLM منبع باز جدیدی به نام DCLM-7B را با مجوز نمونه کد اپل منتشر کرده است. این DCLM-7B جدید مدلی با ۷ میلیارد پارامتر است که با مجموعه داده DCLM-Baseline آموزش داده شده است.

اپل برای اینکه این مدل را برای کارهای رایج مختلف، ازجمله ریاضیات و کدنویسی، به‌طور گسترده مفید کند، داده‌های DCLM-Baseline  3.8Tخود را با داده‌های StarCoder و ProofPile2 ترکیب کرد تا به مجموعه داده‌ی 4.1T توکنی برسد.

هدف اپل از ایجاد این مدل، برجسته‌کردن اثربخشی تکنیک‌های مدیریت سیستماتیک داده برای بهبود عملکرد مدل‌های زبان است. همچنین، اپل نتایج ارزیابی DCLM-7B را به‌همراه مقایسه‌هایی با سایر مدل‌های مشابه از‌نظر اندازه منتشر کرده که می‌توانید در‌ادامه آن را مشاهده کنید.