اینتل با AutoRound و Crescent Island اجرای مدل‌های LLM را سرعت می‌بخشد

توسعه‌دهندگان می‌توانند از AutoRound و Crescent Island اینتل برای اجرای LLMها روی سخت‌افزار این شرکت و دستگاه‌های مبتنی بر CUDA بهره‌مند شوند.

به گزارش سرویس فناوری تک‌ناک، اینتل، شرکت پیشرو در نوآوری‌های پردازشی، از پیشرفت‌های چشمگیری در حوزه پردازش مدل‌های زبان بزرگ (LLM) کوانتیزه‌شده پرده‌برداری کرده است. با معرفی الگوریتم AutoRound و تأیید پشتیبانی از فرمت‌های جدید عددی در Crescent Island، اینتل قصد دارد اجرای مدل‌های LLM را هم روی پردازنده‌های گرافیکی خود و هم روی دستگاه‌های مبتنی‌بر CUDA، سریع‌تر و کارآمدتر از همیشه کند.

الگوریتم جدید AutoRound اینتل گامی مهم در بهینه‌سازی مدل‌های LLM کوانتیزه‌شده (Quantized LLM) محسوب می‌شود. این الگوریتم به‌گونه‌ای طراحی شده است که ارائه (Inference) مدل‌های زبان بزرگ را هم روی پردازنده‌های مرکزی (CPU) و هم روی پردازنده‌های گرافیکی (GPU) ساخت اینتل با سرعت و کارایی چشمگیری به انجام می‌رساند.

نکته مهم این است که AutoRound تنها به سخت‌افزار اینتل محدود نمی‌شود و مدل‌های LLM را روی دستگاه‌های مبتنی‌بر معماری CUDA (تراشه‌های انویدیا) نیز با همین کارایی و سرعت خیره‌کننده می‌تواند فعال کند. این قابلیت گسترده به توسعه‌دهندگان و محققان هوش مصنوعی امکان می‌دهد تا از مزایای این بهینه‌سازی بدون وابستگی به پلتفرم سخت‌افزاری خاصی بهره‌مند شوند.

هدف نهایی AutoRound کاهش مصرف حافظه و افزایش سرعت پردازش مدل‌های LLM بدون افت محسوس در دقت آن‌ها است که برای استقرار این مدل‌ها در کاربردهای دنیای واقعی حیاتی است.

کارت گرافیک مشکی اینتل سری Arc Pro با فن دمنده و لوگوی کامپیوتکس.

در کنار AutoRound، اینتل پشتیبانی از فرمت‌های عددی جدید و پیشرفته را برای معماری Crescent Island خود تأیید کرده است. اینتل اعلام کرده است که Crescent Island از فرمت‌های FP8 (Floating Point 8-bit) و MXFP8 و MXFP4 (Mixed Precision Floating Point 8-bit و 4-bit) پشتیبانی خواهد کرد. این فرمت‌های عددی با دقت کمتر، نقش مهمی در کاهش حجم داده‌ها و افزایش سرعت محاسبات در مدل‌های هوش مصنوعی، به‌ویژه LLMها ایفا می‌کنند.

پشتیبانی از MXFP8 و MXFP4 به‌طور خاص به‌معنای قابلیت اجرای محاسبات با دقت ترکیبی است که می‌تواند کارایی را بدون فداکردن دقت حیاتی در برخی مراحل مدل به حداکثر برساند. این پیشرفت‌ها برای توسعه نسل بعدی شتاب‌دهنده‌های هوش مصنوعی و بهینه‌سازی مصرف انرژی در مراکز داده و دستگاه‌های لبه‌ای بسیار حیاتی خواهد بود.

Wccftech می‌نویسد که این دو نوآوری، AutoRound و پشتیبانی از فرمت‌های جدید در Crescent Island، نشان‌دهنده تعهد قوی تیم آبی به تقویت اکوسیستم هوش مصنوعی و ارائه ابزارهایی است که توسعه و استقرار مدل‌های LLM را برای طیف وسیعی از کاربردها و پلتفرم‌ها تسهیل می‌کند. این گام‌ها می‌توانند نقش مهمی در تسریع پیشرفت درزمینه هوش مصنوعی و دسترسی گسترده‌تر به قابلیت‌های آن ایفا کنند.