روز دوشنبه، Cerebras Systems از ابررایانه 13.5 میلیون هستهای آندرومدا با هوش مصنوعی برای یادگیری عمیق رونمایی کرد.
به گزارش تکناک، به سربراس، آندرومدا بیش از یک اگزافلاپ (یک کوئینتیلیون عملیات در ثانیه) توان محاسباتی هوش مصنوعی را با دقت نیمی از 16 بیت ارائه می دهد.
آندرومدا خود خوشه ای از 16 رایانه Cerebras C-2 است که به یکدیگر متصل شده اند. هر CS-2 حاوی یک تراشه موتور مقیاس ویفر (که اغلب به نام “WSE-2” نامیده می شود)، که در حال حاضر بزرگترین تراشه سیلیکونی ساخته شده است، در حدود 8.5 اینچ مربع و دارای 2.6 تریلیون ترانزیستور چیده شده در 850هزار هسته است.
شرکت سربراس ابر رایانه آندرومدا را در یک مرکز داده در سانتا کلارا، کالیفرنیا به مبلغ 35 میلیون دلار ساخت. این سوپر رایانه برای برنامه هایی مانند مدل های زبان بزرگ تنظیم شده است و قبلاً برای کارهای آکادمیک و تجاری استفاده شده است. Cerebras در یک بیانیه مطبوعاتی می نویسد: Andromeda مقیاس تقریباً عالی را از طریق موازی سازی داده های ساده در بین مدل های زبان بزرگ کلاس GPT، از جمله GPT-3، GPT-J و GPT-NeoX ارائه می دهد.
به گفته سربراس، عبارت «مقیاسسازی تقریباً کامل» به این معنی است که با افزودن واحدهای رایانهای CS-2 بیشتری به آندرومدا، زمان آموزش در شبکههای عصبی به «نسبت تقریباً کامل» کاهش مییابد. به طور معمول، برای افزایش مقیاس یک مدل یادگیری عمیق با افزودن قدرت محاسباتی بیشتر با استفاده از سیستمهای مبتنی بر GPU، ممکن است با افزایش هزینههای سختافزار، بازدهی کاهش یابد. علاوه بر این، Cerebras ادعا میکند که ابررایانهاش میتواند وظایفی را انجام دهد که سیستمهای مبتنی بر GPU نمیتوانند.
کار غیرممکن GPU توسط یکی از اولین کاربران آندرومدا نشان داده شد که مقیاس تقریباً کاملی را در GPT-J در 2.5 میلیارد و 25 میلیارد پارامتر با طول توالی طولانی (MSL 10240) به دست آورد. کاربران تلاش کردند همین کار را روی Polaris انجام دهند، یک خوشه دوهزار تایی Nvidia A100، و GPU ها به دلیل محدودیت حافظه GPU و پهنای باند حافظه قادر به انجام وظایف محوله نبودند.
بدون در نظر گرفتن اینکه آیا این ادعاها به بررسی دقیق خارجی برسند یا نه، در دورهای که شرکتها اغلب مدلهای یادگیری عمیق را بر روی خوشههای بزرگتر از پردازندههای گرافیکی Nvidia آموزش میدهند، به نظر میرسد Cerebras یک رویکرد جایگزین ارائه میدهد.
آندرومدا در چه جایگاهی در مقابل ابر رایانه های دیگر قرار می گیرد؟ در حال حاضر، سریعترین پیشگام در جهان در آزمایشگاه ملی Oak Ridge مستقر است و میتواند با سرعت 1.103 اگزافلاپس با دقت دو برابر 64 بیتی محاسبات رااجرا کند. هزینه ساخت آن رایانه 600 میلیون دلار بوده است.
دسترسی به آندرومدا اکنون برای استفاده از راه دور توسط چندین کاربر فراهم شده است. این ابررایانه در حال حاضر توسط دستیار نگارش تجاری JasperAI و آزمایشگاه ملی Argonne و دانشگاه کمبریج برای تحقیقات مورد استفاده قرار گرفته است.
