مدل زبانی کوچک انویدیا و Mistral AI روی سیستم‌های شخصی کار می‌کند

همکاری جدید شرکت‌های انویدیا و Mistral AI به تولید مدل زبانی بسیار دقیق و کوچک منجر شده است. این مدل می‌تواند روی لپ‌تاپ‌ها و کامپیوترهای شخصی اجرا شود.

به‌گزارش تک‌ناک، شرکت‌های انویدیا و Mistral AI مدل زبانی کوچک جدیدی منتشر کرده‌اند که ادعا می‌شود دقت بسیار زیاد را در فضایی بسیار کوچک ارائه می‌دهد. این مدل جدید LM با نام Mistral-NemMo-Minitron 8B شناخته و نسخه‌ای کوچک‌شده از NeMo 12B محسوب می‌شود که از ۱۲ میلیارد به ۸ میلیارد پارامتر کاهش یافته است.

برایان کانتانزارو، معاون تحقیقات یادگیری عمیق در انویدیا، در اطلاعیه‌ای عنوان کرد که این مدل زبانی کوچک جدید ۸ میلیارد پارامتری با دو روش مختلف بهینه‌سازی هوش مصنوعی کوچک شده است. تیم توسعه‌دهنده‌ی LM جدید از فرایندی ترکیبی از هرس (Pruning) و تقطیر (Distillation) استفاده کرد.

هرس شبکه‌ی عصبی را با حذف وزن‌های مدل که کمترین سهم را در دقت دارند، کوچک می‌کند. در تقطیر، تیم تحقیقاتی این مدل هرس‌شده را روی مجموعه داده کوچکی بازآموزی کرد تا دقت که در فرایند هرس کاهش یافته بود، بسیار افزایش دهد.

تامزهاردور می‌نویسد که این بهینه‌سازی‌ها به توسعه‌دهندگان کمک کرد تا مدل زبان بهینه‌شده را روی «بخشی از مجموعه داده اصلی» آموزش دهند. این امر به صرفه‌جویی حداکثر ۴۰ برابری در هزینه‌های محاسبات خام منجر شد.

معمولاً مدل‌های هوش مصنوعی باید بین اندازه‌ی مدل و دقت آن تعادل برقرار کنند. بااین‌حال، با تکنیک‌های جدید هرس و تقطیر انویدیا و Mistral AI، مدل‌های زبان می‌توانند بهترین‌های هر دو دنیا را داشته باشند.

Mistral-NeMo-Minitron 8B با بهره‌گیری از این پیشرفت‌ها، ادعا می‌کند که در ۹ معیار هوش مصنوعی مبتنی‌بر زبان با اندازه‌ای مشابه پیشتاز است. میزان قدرت محاسباتی ذخیره‌شده به‌اندازه‌ای است که لپ‌تاپ‌ها و کامپیوترهای کارگاهی می‌توانند Minitron 8B را به‌صورت محلی اجرا کنند. این امر باعث می‌شود باتوجه‌به خدمات ابری، سریع‌تر و ایمن‌تر باشد.

انویدیا Minitron 8B را بر‌اساس سخت‌افزار کامپیوتری مصرف‌کننده طراحی کرده است. LM به‌عنوان میکروسرویس Nvidia NIM بسته‌بندی و مدل AI برای تأخیر کم بهینه شده است که زمان پاسخ را بهبود می‌بخشد. انویدیا سرویس مدل سفارشی خود، AI Foundry را برای دریافت Minitron 8B و دست‌کاری آن برای کار روی سیستم‌های حتی ضعیف‌تر، مانند گوشی‌های هوشمند ارائه می‌دهد.

دقت و عملکرد چندان رضایت‌بخش نخواهد بود. بااین‌حال، انویدیا ادعا می‌کند که مدل زبانی‌اش همچنان مدلی با دقت زیاد خواهد بود. همچنین، به بخش کوچکی از داده‌های آموزشی و زیرساخت محاسباتی احتیاج دارد.

هرس و تقطیر به‌نظر می‌رسد مرز بعدی برای بهینه‌سازی عملکرد هوش مصنوعی هستند. ازنظر تئوری، هیچ‌چیز مانع از آن نمی‌شود که توسعه‌دهندگان این تکنیک‌های بهینه‌سازی را بر همه‌ی مدل‌های زبان فعلی اعمال کنند.

این امر می‌تواند عملکرد را در همه‌ی زمینه‌ها، از‌جمله مدل‌های زبان بزرگ که تنها می‌توانند به‌واسطه‌ی مزارع سرورهای شتاب‌دهنده‌ی هوش مصنوعی پشتیبانی شوند، افزایش چشمگیری دهد.