مایکروسافت مدل زبانی جدیدی به نام Mu معرفی کرده است؛ یک LLM کوچک‌مقیاس با معماری encoder–decoder و حجم حدود ۳۳۰ میلیون پارامتر که به‌صورت کاملاً محلی و روی NPU با سرعت بیش از ۱۰۰ توکن بر ثانیه اجرا می شود.
به گزارش تکناک، این مدل با بهینه‌سازی سخت‌افزاری (استفاده از weight‑sharing، Grouped‑Query Attention، RoPE)، تأخیر پردازش را تا ۴۷٪ کاهش و سرعت رمزگشایی را تا ۴.۷ برابر افزایش داده است.
مایکروسافت اخیراً مدل زبانی جدید خود به نام Mu را معرفی کرده است که به طور خاص برای اجرای محلی و بهبود کارایی پردازش زبان طبیعی در دستگاه‌های کم‌منابع طراحی شده است. این مدل با هدف بهبود تجربه کاربری در ویندوز، به ویژه در بخش تنظیمات، ساخته شده و توانسته است عملکرد چشمگیری را در پردازش درخواست‌های ورودی از کاربران ارائه دهد.
فهرست مطالب
معرفی مدل Mu
ویندوزبلاگ می‌نویسد که مدل Mu از معماری encoder-decoder بهره می‌برد که به آن این امکان را می‌دهد تا ورودی‌ها را به نمایشی ثابت تبدیل کرده و سپس خروجی‌ها را بر اساس آن تولید کند. این طراحی باعث کاهش بار پردازشی و مصرف حافظه می‌شود و در نتیجه عملکرد سریع‌تری را بر روی سخت‌افزارهای کم‌منابع ارائه می‌دهد. استفاده از واحد پردازش عصبی (NPU) در دستگاه‌های Copilot+ ویندوز موجب شده است تا این مدل بتواند بیش از 100 توکن در ثانیه پردازش کند و به نیازهای کاربر برای تجربه‌ای روان و سریع پاسخ دهد.
آموزش و بهینه‌سازی مدل Mu
برای ساخت مدل Mu، مایکروسافت از GPUهای A100 در پلتفرم Azure Machine Learning استفاده کرد. این مدل با استفاده از داده‌های آموزشی با کیفیت بالا و تکنیک‌های پیشرفته‌ای مانند distillation از مدل‌های پیشین Phi توسعه یافت. این فرآیند به Mu این امکان را داد که با حجم کمتری از پارامترها به عملکردی مشابه مدل‌های بزرگ‌تر دست یابد.
مدل Mu با 330 میلیون پارامتر بهینه‌سازی شده است تا بتواند به سرعت بالا و دقت بالا در پردازش درخواست‌ها دست یابد. علاوه بر این، از تکنیک‌هایی مانند اشتراک‌گذاری وزن‌ها برای کاهش تعداد پارامترها و بهینه‌سازی استفاده از حافظه بهره برده است. این ویژگی‌ها موجب بهبود عملکرد و کاهش زمان تاخیر مدل در دستگاه‌های مجهز به NPU، به ویژه دستگاه‌های Copilot+ ویندوز، شده است.
کمی‌سازی و بهینه‌سازی برای دستگاه‌های کم‌منابع
مدل Mu به طور ویژه برای اجرا بر روی دستگاه‌هایی با منابع محدود مانند Copilot+ PCs بهینه‌سازی شده است. برای این کار، مایکروسافت از تکنیک‌های پیشرفته کمی‌سازی مدل برای کاهش نیاز به حافظه و محاسبات استفاده کرد. این فرآیند موجب حفظ دقت مدل در عین کاهش مصرف منابع و تسریع در روند اجرا شده است. همچنین همکاری با شرکای سخت‌افزاری مانند AMD، Intel و Qualcomm برای بهینه‌سازی عملیات مدل در سطح سخت‌افزاری صورت گرفت.
آینده مدل Mu و کاربرد آن در ویندوز
مدل Mu به طور ویژه برای بهبود تجربه کاربری در تنظیمات ویندوز طراحی شده است. هدف اصلی این است که کاربران بتوانند از ورودی‌های زبان طبیعی برای تغییر تنظیمات سیستم خود استفاده کنند. به عنوان بخشی از ویندوز Copilot+، این مدل قادر است تنظیمات مختلف سیستم را به طور خودکار تغییر دهد و از طریق جعبه جستجوی تنظیمات، دسترسی سریع به تنظیمات مختلف را فراهم کند.
در حال حاضر، این ویژگی در نسخه آزمایشی ویندوز برای کاربران Windows Insiders در دسترس است و مایکروسافت قصد دارد بازخوردهای کاربران را دریافت کرده و قابلیت‌های مدل Mu را بهبود بخشد. این مدل توانسته است تا با بهبود سرعت و دقت، تجربه کاربری را به سطح جدیدی ارتقاء دهد و در آینده نزدیک شاهد گسترش استفاده از آن در دیگر بخش‌های ویندوز خواهیم بود.
نتیجه‌گیری
مدل زبانی Mu مایکروسافت به عنوان یک مدل کوچک و کارآمد برای پردازش زبان طبیعی در دستگاه‌های کم‌منابع طراحی شده است. با استفاده از تکنیک‌های پیشرفته مانند encoder-decoder architecture و کمی‌سازی، این مدل قادر است به سرعت بالاتر و دقت بیشتر در دستگاه‌های ویندوز پاسخ دهد. این فناوری نوآورانه به کاربران این امکان را می‌دهد که از طریق زبان طبیعی به تغییر تنظیمات ویندوز پرداخته و تجربه‌ای ساده‌تر و سریع‌تر داشته باشند.
