شرکت AMD شتاب‌دهنده هوش مصنوعی Instinct MI325X را رونمایی کرد

01

از 03

ویژگی‌های فنی شتاب‌دهنده هوش مصنوعی Instinct MI325X

تامزهاردور می‌نویسد که Instinct MI325X از همان GPU دوچیپلته استفاده می‌کند که در مدل قبلی خود، یعنی Instinct MI300X نیز وجود داشت؛ اما با تفاوت‌های عمده‌ای در مشخصات. این شتاب‌دهنده ۱۹,۴۵۶ پردازنده استریم (۳۰۴ واحد محاسباتی) دارد که با حداکثر سرعت ۲/۱ گیگاهرتز کار می‌کند. مهم‌ترین ویژگی آن استفاده از ۲۵۶ گیگابایت حافظه HBM3E با پهنای باند ۶ ترابایت‌بر‌ثانیه است. این در حالی است که مدل قبلی از ۱۹۲ گیگابایت حافظه HBM3 با پهنای باند ۵/۳ ترابایت‌بر‌ثانیه بهره می‌برد.

02

از 03

پیشتازی AMD در صنعت حافظه HBM3E

انویدیا با H200 خود با ۱۴۱ گیگابایت حافظه HBM3E و پهنای باند ۴/۸ ترابایت‌بر‌ثانیه هنوز نتوانسته به رکورد ۲۵۶ گیگابایت حافظه HBM3E برسد که AMD در شتاب‌دهنده هوش مصنوعی Instinct MI325X به آن دست یافته است. این موضوع باعث شده است تا Instinct MI325X ازنظر ظرفیت حافظه HBM3E در صنعت پیشتاز باشد. جالب اینجاست که پیش‌از این، AMD اعلام کرده بود که این پردازنده با ۲۸۸ گیگابایت حافظه HBM3E عرضه خواهد شد؛ اما به‌دلایل نامعلومی تصمیم گرفت ظرفیت حافظه را به ۲۵۶ گیگابایت کاهش دهد.

03

از 03

اهمیت حافظه بیشتر برای شتاب‌دهنده‌های هوش مصنوعی

داشتن حافظه بیشتر در شتاب‌دهنده‌های هوش مصنوعی، به‌ویژه برای آموزش و استنتاج، اهمیت زیادی دارد. مدل‌های هوش مصنوعی جدید معمولاً ده‌ها میلیارد پارامتر دارند و برای آموزش به تعداد زیادی GPU نیاز است. ذخیره‌سازی این پارامترها و داده‌های میانه به حافظه زیادی نیاز دارد. ازآنجاکه هیچ‌یک از مدل‌های هوش مصنوعی‌ نمی‌توانند تمام این داده‌ها را در حافظه یک GPU جا دهد، توسعه‌دهندگان باید از روش‌هایی مانند موازی‌سازی مدل یا برش تنسور استفاده کنند که این امر باعث افزایش هزینه‌های محاسباتی و ارتباطی می‌شود.

با حافظه بیشتر، می‌توان تعداد کمتری GPU برای آموزش مدل‌ها استفاده کرد؛ چرا‌که کاهش هزینه‌های محاسباتی باعث افزایش کارایی می‌شود. همچنین، شتاب‌دهنده‌های هوش مصنوعی معمولاً داده‌ها را به صورت دسته‌ای پردازش می‌کنند. ظرفیت بیشتر حافظه بدین‌معنی است که می‌توان داده‌های بیشتری را در هر دسته پردازش کرد که در نهایت به افزایش سرعت و کارایی و دقت در آموزش و استنتاج مدل‌ها می‌انجامد.