این پردازنده جدید عملکرد هوش مصنوعی را ۱۰ برابر می‌کند

پردازنده گرافیکی Rubin با ۲۸۸ گیگابایت حافظه HBM4 و پهنای باند ۲۲ ترابایت بر ثانیه، عملکرد هوش مصنوعی عامل‌محور را متحول می‌کند.

به گزارش سرویس سخت افزار تکناک، انویدیا تمام جزئیات معماری پردازنده گرافیکی هوش مصنوعی Rubin را منتشر کرده است؛ معماری جدیدی که برای عصر هوش مصنوعی عامل‌محور، جهشی عظیم نسبت به Blackwell به همراه می‌آورد.

پردازنده گرافیکی Rubin در قلب پلتفرم‌های نسل بعدی مراکز داده انویدیا قرار دارد. ساخت این تراشه چندین سال زمان برده و اکنون سرانجام به مرحله عرضه عمومی رسیده است. با توجه به اینکه نخستین پلتفرم‌های هوش مصنوعی Rubin هم‌اکنون در شرکت‌های بزرگ فناوری سراسر جهان مستقر می‌شوند، زمان آن فرا رسیده بود که انویدیا تمام جزئیات معماری این تراشه فوق‌قدرتمند هوش مصنوعی را منتشر کند؛ تراشه‌ای که آینده هوش مصنوعی عامل‌محور را شکل خواهد داد.

به گفته انویدیا، تراشه Rubin در مقایسه با Blackwell، به‌ازای هر واحد انرژی توان عملیاتی عامل‌محور را ۱۰ برابر افزایش می‌دهد. این پیشرفت با سه تغییر اساسی در معماری به دست آمده است: هسته‌های Tensor ارتقایافته با پشتیبانی از دقت‌های محاسباتی گسترده‌تر، زیرسیستم حافظه جدید HBM4 و نسل سوم موتور Transformer.

با این حال، ابتدا باید با بررسی اجزای داخلی تراشه، نگاهی دقیق‌تر به معماری آن انداخت.

تراشه Rubin انویدیا با فرایند ساخت ۳ نانومتری N3P شرکت TSMC تولید شده و از دو دای با حداکثر اندازه قابل ساخت روی رتیکل بهره می‌برد تا به تراکم و بهره‌وری بالایی دست پیدا کند. این دو دای از طریق رابط پهن‌باند انویدیا یا NV-HBI در یک پکیج یکپارچه به یکدیگر متصل شده‌اند. این تراشه در مجموع ۳۳۶ میلیارد ترانزیستور دارد که در مقایسه با تراشه Blackwell GB300 افزایشی ۶۲ درصدی را نشان می‌دهد.

درون هر پردازنده گرافیکی Rubin، هشت خوشه پردازش گرافیکی یا GPC قرار گرفته است که در مجموع ۲۲۴ واحد چندپردازنده جریانی یا SM و ۸۹۶ هسته Tensor را شامل می‌شوند. براساس این ارقام، هر GPC باید دارای ۲۸ واحد SM و ۱۱۲ هسته Tensor باشد؛ اما نمودار بلوکی نشان می‌دهد دو نوع GPC وجود دارد که یکی به ۳۰ واحد SM و دیگری به ۲۶ واحد SM مجهز است.

در هر دای چهار GPC وجود دارد که به دو بلوک بزرگ و غیرمتمرکز حافظه کش L2، یک موتور Gigathread، چهار کانال حافظه HBM با رابط ۴۰۹۶ بیتی برای هر دای و یک رابط NVLink متصل شده‌اند.

این تراشه همچنین یک کنترلر PCIe نسل ششم برای برقراری ارتباط با پردازنده مرکزی میزبان دارد و ورودی و خروجی NVLink 6 نیز پهنای باند ۳۶۰۰ گیگابایت‌برثانیه‌ای را در اتصال به سوییچ NVLink فراهم می‌کند. کنترلر MIG پردازنده گرافیکی را برای اجرای چندین بار کاری تقسیم‌بندی می‌کند و واحد NV-DEC نیز برای رمزگشایی شتاب‌یافته در نظر گرفته شده است.

این تراشه همچنین از محاسبات محرمانه از طریق TEE-I/O پشتیبانی می‌کند؛ قابلیتی که امنیت داده‌ها را در حالت ذخیره‌شده، هنگام انتقال و حین استفاده در جریان‌های کاری هوش مصنوعی حفظ می‌کند.

در بخش حافظه، Rubin انویدیا از HBM4، جدیدترین استاندارد حافظه HBM، بهره می‌برد. با توجه به اینکه انتقال سریع‌تر داده‌ها در فضای امروزی هوش مصنوعی به ضرورتی حیاتی تبدیل شده است، Rubin با ظرفیت ۲۸۸ گیگابایتی در قالب هشت پشته ۱۲ لایه‌ای، تمام توان خود را در این زمینه به کار می‌گیرد. ظرفیت هر پشته ۳۶ گیگابایت و ظرفیت هر دای DRAM برابر با ۳ گیگابایت است. این پشته‌ها حداکثر پهنای باند ۲۲ ترابایت‌برثانیه را ارائه می‌دهند و سریع‌ترین راهکار HBM4 موجود در بازار محسوب می‌شوند.

انویدیا همچنین از شتاب‌دهنده حافظه Tensor جدید و ارتقایافته خود یا TMA برای انتقال بهینه داده‌های بسیار پیچیده درون تراشه استفاده می‌کند. در همین حال، NVLink 6 برای ارتباط همه‌به‌همه میان پردازنده‌های گرافیکی، سرعت مقیاس‌افزایی ۳۶۰۰ گیگابایت‌برثانیه‌ای را فراهم می‌کند. رابط NVLink-C2C نیز پهنای باند ۱۸۰۰ گیگابایت‌برثانیه‌ای را برای ارتباط میان پردازنده مرکزی و پردازنده گرافیکی ارائه می‌دهد، درحالی‌که ۱۶ مسیر PCIe نسل ششم، پهنای باند ۲۵۶ گیگابایت‌برثانیه‌ای را برای اتصال به پردازنده مرکزی میزبان فراهم می‌کنند.

حافظه HBM4 در Rubin برای دستیابی به حداکثر بهره‌وری انرژی و توان محاسباتی طراحی شده است و در نتیجه، رمزگشایی و تولید توکن سریع‌تری را امکان‌پذیر می‌کند. بیشتر بارهای کاری مدرن زمان زیادی را صرف پردازش زمینه‌های طولانی، حافظه‌های کش بزرگ KV و تولید تعاملی توکن می‌کنند؛ عواملی که اهمیت پهنای باند را بیش از گذشته افزایش داده‌اند. راهکار HBM4 با افزایش ۲.۸ برابری پهنای باند نسبت به حافظه Blackwell، یعنی ۲۲ ترابایت‌برثانیه در برابر ۸ ترابایت‌برثانیه، چند مزیت مهم ارائه می‌دهد.

از نظر ظرفیت، این حافظه امکان نگهداری مدل در حافظه، استفاده از پنجره‌های زمینه بزرگ‌تر، حافظه‌های کش KV وسیع‌تر و هم‌زمانی بیشتر را بدون نیاز به انتقال غیرضروری کش KV فراهم می‌کند.

از نظر پهنای باند، HBM4 از مرحله تولید توکن‌به‌توکن پشتیبانی می‌کند؛ مرحله‌ای که در آن وزن‌های مدل و وضعیت KV باید با سرعت کافی جابه‌جا شوند تا موتورهای محاسباتی همواره فعال و پربازده باقی بمانند.

در بخش زیرسیستم حافظه نیز TMA و راهبردهای محلی‌سازی داده در حافظه به نرم‌افزار کمک می‌کنند تا از زیرسیستم حافظه به‌شکل موثرتری استفاده کند و در چیدمان‌های پیچیده داده، به پهنای باند عملیاتی بالایی دست یابد.

HBM4 توانایی‌های Rubin را تقویت می‌کند؛ موضوعی که برای پشتیبانی از مدل‌های چندتریلیون‌پارامتری، افزایش طول زمینه بدون دردسر انتقال کش KV، دستیابی به نرخ هم‌زمانی بسیار بالاتر و اجرای بارهای کاری استنتاجی طولانی‌مدت ضروری است.

Rubin همچنین به نسخه ارتقایافته شتاب‌دهنده حافظه Tensor یا TMA مجهز شده است که با افزایش تعداد متخصصان در مدل‌های آمیخته از متخصصان یا MoE، وزن‌های مربوط به هر متخصص را به‌طور کارآمد پیدا و جابه‌جا می‌کند. TMA با بهبود نحوه مدیریت توصیف‌گرها، سربار ناشی از جابه‌جایی داده‌ها را کاهش می‌دهد و به نرم‌افزار اجازه می‌دهد مسیریابی و پردازش را با بهره‌وری بیشتری انجام دهد.

توصیف‌گر درون‌خطی نیز پشتیبانی بهتری از TMA دارد و به کرنل اجازه می‌دهد برای تنسورهایی با چیدمان یکسان، یک توصیف‌گر یکپارچه را حفظ کند و فیلدهایی مانند اشاره‌گر حافظه و گام حرکت را هنگام اجرا، مستقیما در دستور TMA بازنویسی کند.

نتیجه این تغییر، مقیاس‌پذیری کارآمدتر مدل‌های MoE حتی با افزایش تعداد متخصصان است. این قابلیت به تراشه اجازه می‌دهد زمان بیشتری را به محاسبات استنتاج اختصاص دهد و توان عملیاتی بالاتری ارائه کند.

هسته‌های Tensor ارتقایافته نیز به‌گونه‌ای تقویت شده‌اند که در هر چرخه کلاک، دو برابر توان عملیاتی بیشتری ارائه دهند. این پیشرفت با دو برابر کردن حجم داده‌ای به دست آمده است که هر هسته Tensor می‌تواند در بعد K پردازش کند. چنین تغییری هم به کرنل‌های محدودشده توسط توان عملیاتی و هم به کرنل‌های محدودشده توسط حافظه یا تاخیر کمک می‌کند.

انویدیا توضیح می‌دهد که بعد K بزرگ‌تر، تعداد تکرارهای حلقه K را کاهش می‌دهد. برای مثال، یک عملیات ضرب ماتریسی عمومی یا GEMM که در Blackwell به چهار تکرار K نیاز داشت، در تراشه‌های Rubin تنها با دو تکرار تکمیل می‌شود.

با ترکیب تنکی فعال‌سازی با فشرده‌سازی تطبیقی و بهبود توان عملیاتی Softmax، پردازش سازوکار توجه نیز ارتقا یافته است. خط لوله توجه با محاسبه متراکم (QK^T) آغاز می‌شود تا امتیازهای میانی توجه تولید شوند.

Rubin سپس می‌تواند این داده‌های میانی را از حافظه Tensor در قالبی فشرده، ساختاریافته و تنک با نسبت ۲ به ۴ بارگذاری کند. در این فرایند، هم مقادیر غیرصفر و هم فراداده‌های لازم برای استفاده بهینه از آن‌ها تولید می‌شوند و هم‌زمان، هزینه نوشتن امتیازها و فضای مورد نیاز برای ذخیره‌سازی آن‌ها کاهش می‌یابد. به این ترتیب، مراحل بعدی سازوکار توجه می‌توانند داده‌های کمتری را پردازش کنند، بدون اینکه قالب خروجی متراکمی که دیگر بخش‌های مدل انتظار دارند تغییر کند.

توان عملیاتی محاسبات نمایی Rubin نیز در مقایسه با نسخه پایه Blackwell افزایش یافته است. Rubin در قالب FP32 و به‌ازای هر کلاک در هر واحد SM، دو برابر GB200 توان عملیاتی ارائه می‌دهد و از این نظر با GB300 برابر است. توان عملیاتی BF16 و FP16 نیز در مقایسه با Blackwell پایه یا GB200 چهار برابر و نسبت به Blackwell Ultra یا GB300 دو برابر شده است.

Rubin همچنین هماهنگی دقیق‌تری را میان کرنل‌های وابسته امکان‌پذیر می‌کند. به این ترتیب، کار کرنل مصرف‌کننده می‌تواند به‌محض دردسترس‌قرارگرفتن داده‌های ورودی مورد نیاز آغاز شود و لازم نیست تا تکمیل مجموعه بزرگ‌تری از فعالیت‌های کرنل تولیدکننده منتظر بماند.

نتیجه این تغییر، فشرده‌تر شدن جدول زمانی فعالیت پردازنده گرافیکی، کاهش فاصله‌های بیکاری و بهبود هم‌پوشانی میان کرنل‌های وابسته است. این قابلیت به‌ویژه برای استنتاج عامل‌محور اهمیت دارد؛ زیرا در این نوع پردازش، فعال‌سازی‌ها به‌صورت متوالی در مدل حرکت می‌کنند و تاخیر میان کرنل‌ها مستقیما بر تعداد توکن تولیدشده در هر ثانیه برای هر کاربر تاثیر می‌گذارد.

یکی دیگر از عوامل حیاتی برای مراکز داده هوش مصنوعی امروزی، بهره‌وری انرژی است. سامانه‌های Vera Rubin NVL72 در رده پیشرفته‌ترین محصولات بازار قرار می‌گیرند و از راهکارهای جدیدی برای ارتقای بهره‌وری انرژی استفاده می‌کنند. از جمله این راهکارها می‌توان به هدایت توان و هموارسازی هوشمند مصرف انرژی همراه با ذخیره‌سازی انرژی در یک دامنه اجرایی یکپارچه اشاره کرد؛ ساختاری که برای به حداکثر رساندن خروجی مفید توکن در محدوده ثابت مصرف انرژی طراحی شده است.

اوج‌های گذرای مصرف انرژی می‌توانند با بلااستفاده نگه‌داشتن ظرفیت موجود در کارخانه هوش مصنوعی، توان عملیاتی کلی را کاهش دهند. برای برطرف‌کردن این مشکل، سامانه‌های Vera Rubin به منابع تغذیه مجهز به هموارسازی هوشمند توان براساس وضعیت شارژ یا SoC مجهز شده‌اند.

این منابع تغذیه نوسان‌های گذرا را جذب می‌کنند و در مقایسه با نسل قبلی، میانگین مصرف انرژی را حدود ۱۰ درصد کاهش می‌دهند. همچنین اوج مصرف انرژی در بازه ۵۰ میلی‌ثانیه‌ای را ۲۰ درصد پایین می‌آورند و پروفایل مصرف انرژی یکدستی ارائه می‌کنند که می‌تواند حداکثر نیازهای توان را به‌صورت پایدار تامین کند.

برای کارخانه‌های هوش مصنوعی، سیستم‌عامل NVIDIA DSX که DSX MaxLPS را نیز شامل می‌شود، حوزه‌هایی مانند پردازنده‌های گرافیکی، رک‌ها، خنک‌کننده مایع و بارهای کاری را پوشش می‌دهد. به نوشته Wccftech، این سیستم یک لایه عملیاتی برای زمان‌بندی، مدیریت چرخه عمر و خودکارسازی پایش سلامت فراهم می‌کند و امکان استقرار ۴۰ درصد پردازنده گرافیکی بیشتر را با همان بودجه انرژی به وجود می‌آورد. در نتیجه، توان عملیاتی هر استقرار نیز افزایش پیدا می‌کند.

ترکیب تمام این قابلیت‌ها، Rubin را به تراشه‌ای پیشرفته برای مراکز داده هوش مصنوعی تبدیل می‌کند؛ تراشه‌ای که مسیر تازه‌ای را برای قابلیت‌های آینده هوش مصنوعی آغاز خواهد کرد و دامنه آن از جریان‌های کاری هوش مصنوعی عامل‌محور فراتر خواهد رفت.