شرکت دیپسیک با معرفی Fire-Flyer File System، تحول جدیدی در سیستمهای فایل موازی ایجاد کرده است.
به گزارش تکناک، این فایل سیستم متنباز، عملکرد بهینهتری در پردازش دادههای حجیم ارائه میدهد، مقیاسپذیری بالایی دارد و با کاهش تأخیر در انتقال داده، بهبود چشمگیری در کارایی محاسبات توزیعشده و ذخیرهسازی دادهها ایجاد میکند.
دیپسیک AI در جریان رویداد Open Source Week، سیستم فایل موازی Fire-Flyer File System (3FS) را بهطور کامل متنباز کرد. این شرکت چینی فعال در حوزه هوش مصنوعی ادعا میکند که 3FS قادر است در خوشههای دادهای سرورهایش به سرعت خواندن تجمیعی ۷.۳ ترابایت بر ثانیه دست یابد. دیپسیک از سال ۲۰۱۹ تاکنون از این سیستم برای مدیریت سرورهای خود استفاده کرده است.
تامزهاردور مینویسد که 3FS که بر پایه Linux توسعه یافته، بهطور ویژه برای عملیات AI-HPC طراحی شده است. در این معماری، پردازندههای GPU بهطور مداوم به سرورهای ذخیرهسازی داده برای آموزش LLMها دسترسی دارند. ویژگی منحصربهفرد این سیستم فایل، تمرکز کامل آن بر افزایش سرعت خواندن تصادفی و چشمپوشی از حافظه پنهان خواندن است.
در فرآیند آموزش مدلهای هوش مصنوعی، واحدهای پردازشی باید بهطور مداوم به مجموعهای از دادههای تصادفی دسترسی داشته باشند. ازآنجاکه این دادهها تنها یکبار خوانده میشوند، حافظه پنهان خواندن عملاً غیرضروری است و در 3FS کنار گذاشته شده است.
حتی در برخی موارد، استفاده از این حافظه هنگام آموزش LLMها میتواند مضر باشد؛ زیرا مدلهای زبانی، در اصل ماشینهای استنتاجی فوق بهینهشده هستند و خواندن مکرر دادهها به همان ترتیب اولیه، ممکن است اطلاعات نامرتبط را بهعنوان یک مجموعه به مدل پیوند دهد.
تیم عملیاتی دیپسیک که مسئولیت مدیریت یکی از خوشههای یادگیری عمیق این شرکت با نام Fire-Flyer 2 را بر عهده دارد، در آگوست گذشته مقالهای درباره نحوه استفاده از 3FS در این سیستم سفارشیشده منتشر کرد.
در این پروژه، دیپسیک از ۱۸۰ گره ذخیرهسازی استفاده کرده که هرکدام به ۱۶ SSD با ظرفیت ۱۶ ترابایت و دو NUC با پهنای باند ۲۰۰ گیگابیت بر ثانیه مجهز شدهاند. این گرهها توان پردازشی خود را در اختیار ۱۰,۰۰۰ پردازنده گرافیکی PCIe Nvidia A100 قرار میدهند، آن هم در سرورهایی که هزینهای بهمراتب کمتر از سرورهای اختصاصی DGX-A100 شرکت Nvidia دارند.
بر اساس بنچمارکهای دیپسیک، عملکرد 3FS در این معماری به ۶.۶ ترابایت بر ثانیه رسیده است؛ درحالیکه اجرای همزمان وظایف آموزشی نیز ۱.۴ ترابایت بر ثانیه دیگر به توان خواندن اضافه کرده است. در مقابل، سیستم فایل Ceph در اوایل ۲۰۲۴ موفق شد برای نخستین بار سرعت خواندن ۱.۱ ترابایت بر ثانیه را در سروری با ۶۸ گره (هر یک مجهز به ۱۰ SSD با ظرفیت ۱۶ ترابایت و دو اتصال شبکهای ۱۰۰ گیگابیت بر ثانیه) به ثبت برساند.
بر اساس همین مقاله، 3FS بهعنوان یکی از اجزای کلیدی پشته نرمافزاری دیپسیک برای آموزش مدلهای هوش مصنوعی این شرکت معرفی شده است. این فناوری در راهکار Fire-Flyer 2 HPC آزمایش شده و توانسته ۸۰ درصد عملکرد سرور DGX-A100 Nvidia را با نصف هزینه و ۶۰ درصد مصرف انرژی کمتر ارائه دهد.
علاقهمندان به آزمایش Fire-Flyer File System و معماری مبتنی بر خواندن تصادفی آن برای AI-HPC، میتوانند نسخه کامل این سیستم را از صفحه Github شرکت دیپسیک دریافت کنند. این سیستم فایل متنباز میتواند به انتخابی محبوب برای کاربران حرفهای و سازمانهای AI-HPC تبدیل شود، هرچند که ممکن است برای دستیابی به موفقیت گسترده، نیاز به غلبه بر برخی نگرانیهای مرتبط با فناوریهای چینی داشته باشد.
