HBF چیست و چرا نمی‌تواند جای HBM را بگیرد؟

HBF ظرفیت حافظه هوش مصنوعی را تا ۱۴ برابر افزایش می‌دهد، اما پهنای‌باند پایین‌تر آن باعث می‌شود فقط برای کاربردهای تخصصی مناسب باشد.

 به گزارش سرویس فناوری تک‌ناک، HBF ظرفیت بسیار بیشتری را با هزینه‌ای نزدیک به HBM فراهم می‌کند، اما در مقابل، پهنای‌باند پایین‌تری دارد و همین تفاوت، کاربرد آن را به مجموعه‌ای از سناریوهای خاص محدود می‌کند.

ایده HBF نخستین‌بار در اوایل سال ۲۰۲۵ از سوی SanDisk مطرح شد. هدف این فناوری، فراهم کردن چندین ترابایت حافظه نسبتاً ارزان برای شتاب‌دهنده‌های هوش مصنوعی و کاهش وابستگی به HBM بود.

مشخصات فعلی HBF در سه سطح عملکرد تعریف شده است. ظرفیت Grade 1 به ۲۵۶ گیگابایت می‌رسد و پهنای‌باند ۳۸۴ گیگابایت بر ثانیه دارد.

Grade 2 ظرفیت ۵۱۲ گیگابایتی و پهنای‌باند ۱.۵۳۶ ترابایت بر ثانیه ارائه می‌دهد و Grade 3 نیز با همین ظرفیت، به پهنای‌باند ۳.۰۷۲ ترابایت بر ثانیه می‌رسد.

با وجود این ارقام، مزیت اصلی HBF سرعت نیست. این فناوری می‌تواند نسبت به HBM حدود ۸ تا ۱۶ برابر ظرفیت بیشتری ارائه دهد و تقریباً با همان هزینه، حجم بسیار بیشتری از داده را در اختیار سیستم قرار دهد.

به همین دلیل، XMIQ  معتقد است HBF باید بیشتر به‌عنوان حافظه‌ای با ظرفیت بالا دیده شود، نه نسخه ارزان‌تر HBM.

ظرفیت بیشتر، اما پهنای‌باند کمتر

XMIQ برای بررسی تفاوت این دو فناوری، یک رک شامل ۷۲ GPU را شبیه‌سازی کرده است که مدل یک تریلیون پارامتری Kimi-K2 را با دقت FP4 اجرا می‌کند.

در پیکربندی کاملاً مبتنی بر HBM، سیستم ۲۰.۷ ترابایت حافظه و ۱۵۸۴ ترابایت بر ثانیه پهنای‌باند کلی دارد.

در مقابل، استفاده کامل از HBF ظرفیت را ۱۴ برابر افزایش می‌دهد و به ۲۹۴.۹ ترابایت می‌رساند، اما پهنای‌باند کلی به ۹۲۲ ترابایت بر ثانیه کاهش پیدا می‌کند.

این تفاوت نشان می‌دهد HBF زمانی بیشترین مزیت را دارد که ظرفیت حافظه عامل محدودکننده سیستم باشد.

 در مدل XMIQ، هر GPU مجهز به HBF می‌تواند یک نمونه از Kimi-K2 را در خود جای دهد و یک رک ۷۲ نمونه مدل را اجرا کند.

در پیکربندی HBM، برای نگهداری هر نمونه مدل به هشت GPU نیاز است و در نتیجه تنها ۹ نمونه در هر رک قابل اجرا خواهد بود.

اما با افزایش تعداد کاربران هم‌زمان و سرعت تولید توکن، وضعیت تغییر می‌کند. پهنای‌باند پایین‌تر HBF به گلوگاه تبدیل می‌شود و HBM به دلیل پهنای‌باند بالاتر می‌تواند عملکرد بهتری ارائه دهد.

بنابراین، اگر هدف فقط جای دادن مدل‌های بسیار بزرگ باشد، HBF می‌تواند تعداد GPUهای مورد نیاز را به‌شدت کاهش دهد.

اما اگر هدف دستیابی به بیشترین توان عملیاتی در یک رک کاملاً فعال باشد، HBM همچنان می‌تواند انتخاب اقتصادی‌تری باشد.

بیشتر بخوانید: ۱۰ تریلیون پارامتر در یک مدل OpenAI؛ Bel رسما رقیب مغز انسان می‌شود

کاربردهای تخصصی HBF و چالش نرم‌افزاری

یکی از مهم‌ترین کاربردهای احتمالی HBF، مدل‌های Mixture-of-Experts یا MoE است.

در این مدل‌ها، حجم زیادی از وزن‌ها مربوط به Expertهایی است که در هر مرحله فقط بخشی از آن‌ها فعال می‌شوند.

برای نمونه، در مدل Kimi-K3 که توسط OXMIQ بررسی شده، ۱.۵۶ ترابایت از وزن‌ها وجود دارد که ۱.۴۵ ترابایت آن مربوط به Expertها است.

از آنجا که بسیاری از این Expertها به‌ندرت مورد استفاده قرار می‌گیرند، می‌توان آن‌ها را در HBF نگهداری کرد و داده‌های پرتکرار را در HBM قرار داد.

HBF همچنین می‌تواند برای KV Cacheهای بزرگ در مدل‌های دارای زمینه طولانی مفید باشد. این مدل‌ها در هر مرحله تنها به بخش کوچکی از Cache دسترسی دارند، بنابراین بخش کم‌استفاده آن می‌تواند در HBF باقی بماند و فقط داده مورد نیاز به HBM منتقل شود.

ظرفیت بالای HBF حتی می‌تواند ارتباط میان GPUها را کاهش دهد. در مدل‌های MoE، Expertها معمولاً میان GPUها توزیع می‌شوند و برای دسترسی به آن‌ها ارتباطات گسترده‌ای میان شتاب‌دهنده‌ها لازم است.

اگر تعداد بیشتری از Expertها به‌صورت محلی ذخیره شوند، نیاز به این ارتباطات و مصرف پهنای‌باند شبکه نیز کاهش پیدا می‌کند.

بیشتر بخوانید: هشدار بیل گیتس درباره آینده هوش مصنوعی

پیاده سازی HBF

با این حال، پیاده‌سازی HBF ساده نیست. این فناوری به انتقال بلوک‌های بزرگ داده نیاز دارد و داده‌ها از طریق DMA جابه‌جا می‌شوند.

هنگامی که HBF و HBM هم‌زمان استفاده شوند، نرم‌افزار باید تصمیم بگیرد هر داده در کدام حافظه قرار گیرد، چه زمانی آن را منتقل کند و چگونه دوام محدود حافظه فلش را مدیریت کند.

چارچوب‌هایی مانند vLLM نیز برای پشتیبانی کامل از HBF به تغییرات اساسی نیاز دارند. این چارچوب باید بتواند تخصیص حافظه، محل قرارگیری داده‌ها، پیش‌بارگذاری اطلاعات و میزان فرسودگی حافظه را مدیریت کند.

در سطح سخت‌افزار نیز شرکت‌هایی مانند AMD و انویدیا باید سازوکارهای لازم برای انتقال کارآمد داده میان HBF و HBM را فراهم کنند.

در نهایت، HBF هنوز فناوری نوپایی است و قرار نیست جایگزین عمومی HBM شود. بر اساس مدل XMIQ، مهم‌ترین کاربردهای آن شامل جای دادن مدل‌های بسیار بزرگ با GPUهای کمتر، ذخیره Expertهای کم‌دسترسی در مدل‌های MoE و نگهداری KV Cacheهای حجیم است.

در چنین کاربردهایی ظرفیت بسیار زیاد اهمیت بیشتری از پهنای‌باند دارد. اما هرجا سرعت دسترسی به حافظه عامل اصلی عملکرد باشد، HBM همچنان گزینه برتر باقی خواهد ماند.