مایکروسافت سری مدل‌های هوش مصنوعی Phi-3.5 را عرضه کرد

مایکروسافت خانواده مدل های هوش مصنوعی جدیدی به نام Phi-3.5 را منتشر کرده که شامل Phi-3.5-vision، Phi-3.5-MoE و Phi-3.5-mini است.

به گزارش سرویس هوش مصنوعی تکناک،این مدل‌های سبک که با داده‌های مصنوعی و وب سایت‌های عمومی فیلتر شده ، در زمینه‌های مختلفی از جمله پردازش تصویر و زبان آموزش داده شده اند عملکرد بهتری نسبت به مدل‌های سایر رقبا دارند و از طول زمینه 128K توکن پشتیبانی می‌کنند.

مدل Phi-3.5-MoE اولین مدلی است که از تکنولوژی Mixture of Experts بهره می‌برد و از نظر عملکرد بر بسیاری از مدل‌های فعلی بازار برتری دارد. این مدل‌ها اکنون در Hugging Face با مجوز MIT در دسترس هستند..

Phi-3.5-MoE: یک پیشرفت در Mixture of Experts

مدل Phi-3.5-MoE به عنوان نخستین عضو خانواده مدل های هوش مصنوعی Phi-3.5 شناخته می‌شود که از تکنولوژی ترکیبی کارشناسان (Mixture of Experts) بهره‌مند است. این مدل، که دارای 16 بلوک 3.8 میلیاردی MoE با تنها 6.6 میلیارد پارامتر و دو کارشناس فعال است، با استفاده از 512 واحد H100 بر روی 4.9 تریلیون توکن آموزش داده شده‌است.

تیم تحقیقاتی مایکروسافت این مدل را از پایه طراحی کرده تا عملکرد آن را ارتقاء دهد. در معیارهای استاندارد هوش مصنوعی، Phi-3.5-MoE عملکردی بهتر از مدل‌های Llama-3.1 8B، Gemma-2-9B و Gemini-1.5-Flash دارد و به مدل پیشتاز کنونی، GPT-4o-mini، نزدیک است.

Phi-3.5-mini سبک و قدرتمند

مدل Phi-3.5-mini، با 3.8 میلیارد پارامتر، از مدل‌های Llama3.1 8B و Mistral 7B پیشی گرفته و حتی با Mistral NeMo 12B رقابت می‌کند. این مدل با استفاده از 512 واحد H100 و بر روی 3.4 تریلیون توکن آموزش دیده است. با وجود داشتن تنها 3.8 میلیارد پارامتر فعال، Phi-3.5-mini در وظایف چندزبانه با مدل‌های LLM که دارای تعداد پارامترهای فعال بسیار بیشتری هستند، به رقابت می‌پردازد.

علاوه بر این، اکنون Phi-3.5-mini از طول زمینه 128 هزار کاراکتری پشتیبانی می‌کند، در حالی که رقیب اصلی آن، خانواده Gemma-2، تنها از 8 هزار کاراکتر پشتیبانی می‌کند.

Phi-3.5-vision: درک بهبود یافته تصاویر چند فریمی

مدل Phi-3.5-vision با 4.2 میلیارد پارامتر، بر روی 500 میلیارد توکن و با استفاده از 256 واحد GPU از نوع A100 آموزش دیده است. این مدل اکنون از درک و استدلال تصاویر چند فریمی پشتیبانی می‌کند و در معیارهای مختلف عملکرد خود را بهبود بخشیده است: در MMMU از 40.2 به 43.0، در MMBench از 80.5 به 81.9، و در معیار درک سند TextVQA از 70.9 به 72.0 ارتقاء یافته است.

لینک دانلود این مدلها در زیر آمده است

• Phi-3.5-MoE-instruct
• Phi-3.5-mini-instruct
• Phi-3.5-vision-instruct

انتظار می‌رود که Microsoft جزئیات بیشتری درباره خانواده مدل‌های Phi-3.5 در ادامه امروز به اشتراک بگذارد. انتشار Phi-3.5 توسط Microsoft پیشرفت‌های در کارایی و قابلیت‌های مدل‌های AI را نشان می‌دهد.

با تمرکز بر طراحی سبک و درک چند حالته، خانواده مدل‌های Phi-3.5 ممکن است پذیرش گسترده‌تری در بین کاربردهای مختلف AI پیدا کنند.