بهینه‌سازی Gemma برای شتاب‌دهنده‌های هوش مصنوعی

بهینه‌سازی‌های انویدیا برای Gemma، این مدل زبانی بزرگ را به ابزاری قدرتمندتر و کارآمدتر برای طیف وسیعی از برنامه‌ها تبدیل می‌کند.

به‌گزارش تک‌ناک، به‌منظور بهینه‌سازی مدل‌های زبانی بزرگ رایج با پردازنده‌های گرافیکی سری RTX مجهز به هوش مصنوعی، انویدیا اخیراً سرعت پیشرفت‌ها را افزایش داده است. این پیشرفت با بهینه‌سازی مدل پیشرفته‌ Gemma متعلق به گوگل به مرحله‌ جدیدی رسیده است.

انویدیا با همکاری گوگل، از بهینه‌سازی‌هایی برای مدل‌های زبانی بزرگ و سبک‌وزن Gemma (با ظرفیت 2 و 7 میلیارد پارامتر) روی تمامی پلتفرم‌های هوش مصنوعی انویدیا خبر داده است.

این مدل‌های جدید و پیشرفته‌ گوگل در هر دستگاهی اجرا می‌شوند و با کاهش هزینه‌ها، نوآوری و کارهای خلاقانه را در حوزه‌های تخصصی سرعت می‌بخشند. به‌نقل از wccftech، تیم‌های هر دو شرکت برای تسریع عملکرد Gemma که با همان تحقیقات و فناوری استفاده‌شده در ساخت مدل‌های جمینی ساخته شده است، همکاری تنگاتنگی کردند.

این تسریع با استفاده از TensorRT-LLM انویدیا، کتابخانه‌ای منبع‌باز برای بهینه‌سازی استنتاج مدل‌های زبانی بزرگ، هنگام اجرا روی پردازنده‌های گرافیکی انویدیا در مراکز داده و کلود و رایانه‌های شخصی مجهز به پردازنده‌های گرافیکی انویدیا RTX به‌دست آمد. این امر به توسعه‌دهندگان کمک می‌کند تا از پایگاه نصب‌شده‌‌ بیش از 100 میلیون پردازنده‌ گرافیکی NVIDIA RTX در رایانه‌های شخصی هوش مصنوعی با کارایی بالا در سراسر جهان استفاده کنند.

همچنین، توسعه‌دهندگان می‌توانند Gemma را روی پردازنده‌های گرافیکی انویدیا در فضای ابری اجرا کنند؛ ازجمله موارد موجود در سرویس ابری گوگل روی نمونه‌های A3 با پردازنده گرافیکی H100 Tensor Core و به‌زودی پردازنده‌های گرافیکی H200 Tensor Core انویدیا که از 141 گیگابایت حافظه HBM3e با سرعت 4/8 ترابایت‌بر‌ثانیه بهره می‌برند.

علاوه‌بر‌این، توسعه‌دهندگان سازمانی می‌توانند از مجموعه‌ گسترده‌ ابزارهای انویدیا شامل NVIDIA AI Enterprise با فریم‌ورک NeMo و TensorRT-LLM برای تنظیم دقیق Gemma و استقرار مدل بهینه‌شده در برنامه‌های کاربردی تولیدی خود استفاده کنند.