شرکت AMD ادعا می‌کند که پردازنده‌های مرکزی Ryzen 8040 در اجرای مدل‌های زبان بزرگ (LLMs) تا 79 درصد سریع‌تر از تراشه‌های جدید Core Ultra اینتل عمل می‌کنند.
به‌گزارش تک‌ناک، AMD ادعا می‌کند که پردازنده‌های موبایل Ryzen 7040 Phoenix و Ryzen Mobile 8040 در اجرای مدل‌های زبان بزرگ (LLMs) تا 79 درصد سریع‌تر از CPUهای Core Ultra Meteor Lake اینتل عمل می‌کنند. این غول تراشه‌ساز نتایج بنچمارک متعددی را با قرار‌دادن پردازنده Ryzen 7 8740U در‌مقابل Core Ultra 7 155H اینتل منتشر کرده است. هر دو تراشه از واحد پردازش عصبی (NPU) سخت‌افزاری بهره‌مندند.
تامزهاردور می‌نویسد که آزمایش‌های AMD شامل Mistral 7b و Llama v2 و Mistral Instruct 7B بوده است. در بخش چت، Llama v2 با اندازه بیت Q4 تراشه Ryzen درمقایسه‌با Core Ultra 7 155H نزدیک به 14 درصد در تعداد توکن پردازش‌شده در ثانیه سریع‌تر بوده است. همچنین در Mistral Instruct با همین اندازه بیت، تراشه‌های Ryzen درحدود 17 درصد در این زمینه سریع‌تر عمل کرده‌اند.
در همین مدل‌های زبان بزرگ (LLMs) با بررسی زمان رسیدن به اولین توکن برای نمونه اولیه، رقیب AMD در Llama v2، تقریباً 79 درصد و در Mistral Instruct، حدوداً 41 درصد سریع‌تر از Core Ultra 7 بوده است.
نمودار دیگری از AMD عملکرد Llama v2 7B Chat را با استفاده از اندازه بیت و بلاک و سطوح کیفیتی مختلف نشان می‌دهد. به‌طور متوسط، Ryzen 7 7840U نزدیک به 55 درصد سریع‌تر از رقیب اینتل عمل کرده و در نتایج Q8 تا 70 درصد سریع‌تر بوده است. با اینکه Q8 سریع‌ترین است، AMD برای اجرای مدل‌های زبان بزرگ در دنیای واقعی، استفاده از کمّی‌سازی چهار بیتی K M را توصیه می‌کند و برای کارهایی که به دقت بسیار زیاد نیاز دارند (مانند کد‌نویسی)، کمّی‌سازی پنج بیتی K M را پیشنهاد می‌دهد.
این موضوع که AMD در‌حال‌حاضر در رقابت با اینتل درزمینه عملکرد هوش مصنوعی پیشرو است، جای تعجب ندارد. با اینکه معماری سری Ryzen 7040 این شرکت از‌نظر عملکرد (در TOPS) مشابه Meteor Lake اینتل است، اواخر سال گذشته مشخص شد که AMD اغلب در کارهای مبتنی‌بر هوش مصنوعی از Meteor Lake عملکرد بهتری دارد.
به‌نظر می‌رسد این بیشتر مشکلی در بهینه‌سازی LLM است تا مشکل سخت‌افزاری یا درایور. ناگفته نماند که AMD در کارهای هوش مصنوعی بر فریم‌ورک OpenVINO اینتل برتری دارد. به‌نظر می‌رسد OpenVINO برای افزایش درخورتوجه عملکرد هوش مصنوعی اینتل حیاتی است. برای مثال، پردازنده A770 اینتل فقط با بهینه‌سازی‌های OpenVINO، شاهد بهبود عملکرد 54 درصدی است.
نباید انتظار داشت که این عملکرد برای مدت طولانی دوام بیاورد. از این گذشته، هنوز در ابتدای توسعه NPU هستیم. اگر برنامه‌های بیشتری از OpenVINO استفاده نکنند، انتظار می‌رود اینتل تغییر رویه دهد و مسیر بهینه‌سازی بهتری را امتحان کند؛ مسیری که توسعه‌دهندگان بیشتری آن را می‌پذیرند.
همچنین، اینتل در حال آماده‌سازی خود برای عرضه معماری نسل بعدی پردازنده‌های موبایل Lunar Lake در اواخر سال جاری است. گفته می‌شود عملکرد هوش مصنوعی این معماری علاوه‌بر پیشرفت‌های چشمگیر IPC برای هسته‌های CPU، سه برابر Meteor Lake خواهد بود.
در‌حال‌حاضر، اسلایدهای AMD نشان می‌دهد که این شرکت در عملکرد NPU برتری دارد؛ به‌خصوص با CPUهای سری Ryzen 8040 که حتی عملکرد NPU بهتری از Ryzen 7 7840U دارند. ناگفته نماند تا پایان سال جاری، بسته به موفقیت اینتل با Lunar Lake و برنامه‌های بهینه‌سازی هوش مصنوعی آن، ممکن است ورق برگردد.
