براساس نتایج بنچمارک‌ها، مدل Phi-2 2.7B مایکروسافت درمقایسه‌با مدل تازه‌معرفی‌شده Gemini Nano-2 3.2B گوگل عملکرد بهتری از خود نشان می‌دهد.
به‌گزارش تک‌ناک، در چند ماه گذشته، Microsoft Research مجموعه‌ای از مدل‌های زبان کوچک (SLM) به نام Phi را منتشر کرده است. ابتدا مدل Phi-1 با 1.3میلیارد پارامتر منتشر شد و مخصوص کدنویسی پایتون ابتدایی بود. سپتامبر۲۰۲۳، Microsoft Research مدل Phi-1.5 را با 1.3میلیارد پارامتر منتشر کرد؛ اما این مدل با استفاده از منبع داده جدیدی آموزش دید که شامل متون ترکیبی NLP بود. Phi-1.5 با وجود اندازه کوچکش، عملکردی تقریباً به‌روز ارائه می‌داد و با مدل‌هایی با اندازه مشابه مقایسه می‌شد.
MSPowerUser می‌نویسد که اخیراً، مایکروسافت اعلام کرد که مدل هوش مصنوعی Phi-2 را با 2.7میلیارد پارامتر منتشر کرده است. Microsoft Research ادعا می‌کند که این مدل جدید SLM عملکردی به‌روز را در میان مدل‌های زبان پایه با کمتر از 13میلیارد پارامتر ارائه می‌دهد. در برخی از بنچمارک‌های پیچیده، Phi-2 با مدل‌هایی به‌اندازه 25 برابر بزرگ‌تر، برابری یا بهتر عمل می‌کند.
هفته گذشته، گوگل مجموعه مدل‌های زبان Gemini را معرفی کرد. مدل Gemini Nano کارآمدترین مدل گوگل است که برای انجام وظایف مختلف روی دستگاه ساخته شده است و می‌تواند مستقیماً روی چیپ‌های موبایل اجرا شود. مدل‌های کوچک شبیه Gemini Nano، امکاناتی مانند خلاصه‌سازی متن و پاسخ‌های هوشمند متناسب با متن و اصلاح گرامر پیشرفته را فراهم می‌کنند.
به‌گفته مایکروسافت، مدل جدید Phi-2 با مدل جدید Gemini Nano-2 گوگل برابری می‌کند یا از آن عملکرد بهتری دارد. در جدول زیر، می‌توانید مقایسه بنچمارک‌ها بین مدل‌های Gemini Nano-2 و Phi-2 را مشاهده کنید:
|
مدل |
اندازه | BBH | BoolQ | MBPP | MMLU |
| Gemini Nano 2 | 3.2B | 42.4 | 79.3 | 27.2 |
55.8 |
|
Phi-2 |
2.7B | 59.3 | 83.3 | 59.1 |
56.7 |
علاوه‌بر عملکرد بهتر از Gemini Nano-2، مدل Phi-2 در بنچمارک‌های مختلف از عملکرد مدل‌های Mistral و Llama-2 با پارامترهای 7میلیاردی و 13میلیاردی نیز فراتر می‌رود. جزئیات این عملکرد را در جدول زیر مشاهده می‌کنید:
|
مدل |
اندازه | BBH |
حس مشترک استدلال
|
درک زبان
|
ریاضی | Coding |
| Llama-2 | 7B | 40.0 | 62.2 | 56.7 | 16.5 |
21.0 |
|
13B |
47.8 | 65.0 | 61.9 | 34.2 | 25.4 | |
| 70B | 66.5 | 69.2 | 67.6 | 64.1 |
38.3 |
|
|
Mistral |
7B | 57.2 | 66.4 | 63.7 | 46.4 | 39.4 |
| Phi-2 | 2.7B | 59.2 | 68.8 | 62.0 | 61.1 |
53.7 |
در‌حالی‌که دو مدل قبلی Phi در Hugging Face دردسترس بودند، مدل Phi-2 در کاتالوگ مدل Azure دردسترس است. شما می‌توانید از اینجا اطلاعات بیشتری درباره Phi-2 کسب کنید.
