فهرست مطالب
اوپن ای آی در کنفرانس Hot Chips جزئیات پردازنده جالاپینو را فاش کرد که طبق بنچمارک‌های InferenceX بهره‌وری انرژی و نرخ توکن بالاتری از تراشه‌های انویدیا دارد.
به گزارش سرویس سخت افزار تکناک، شرکت اوپن‌ای‌آی روز سه‌شنبه در کنفرانس Hot Chips جزئیات دقیق‌تری از پردازنده جالاپینو منتشر کرد که شامل نخستین دسته از نتایج بنچمارک این سیستم جدید بود. در آزمایش‌های صورت‌گرفته با بنچمارک InferenceX متعلق به شرکت SemiAnalysis، پردازنده جالاپینو موفق شد نسبت به پردازنده‌های استنتاج پیشرفته کنونی، نرخ توکن بیشتری به ازای هر کاربر و خروجی بالاتری به ازای هر کیلووات انرژی مصرفی ثبت کند.
ریچارد هو، مدیر بخش سخت‌افزار اوپن‌ای‌آی، در یک نشست مطبوعاتی اظهار داشت که نتایج به دست آمده نشان‌دهنده جهش عملکردی بسیار چشمگیری در مقایسه با پیشرفته‌ترین فناوری‌های حال حاضر است. جالاپینو قادر است به ازای هر واحد انرژی مصرفی، حجم بیشتری از پردازش‌های هوش مصنوعی را انجام دهد و در عین حال پاسخ‌ها را با سرعت بالاتری ارائه کند. این پردازنده نه‌تنها برای خدمت‌رسانی به تعداد زیادی از کاربران بسیار بهینه عمل می‌کند، بلکه نرخ تأخیر بسیار پایینی نیز دارد.
مقایسه جالاپینو با پردازنده‌های بلک‌ول
نکته مهم این است که این مقایسه در برابر سیستم‌های بلک‌ول انویدیا انجام شده است، اما با توجه به فاصله زمانی تا استقرار کامل جالاپینو، رقبا نیز ممکن است در این مدت پیشرفت‌های چشمگیری داشته باشند. بنا بر تخمین ریچارد هو، این پردازنده در اواخر سال ۲۰۲۶ در مقیاس بسیار محدود به کار گرفته خواهد شد و استقرار گسترده‌تر آن برای سال ۲۰۲۷ برنامه‌ریزی شده است.
جالاپینو که نخستین بار در اکتبر سال گذشته معرفی شد، با همکاری نزدیک اوپن‌ای‌آی و برودکام توسعه یافته است. در این مسیر، مدل‌های هوش مصنوعی خودِ اوپن‌ای‌آی نیز به تسهیل فرایند توسعه کمک کرده‌اند. این شرکت قصد دارد جالاپینو را به پلتفرمی چندنسلی تبدیل کند تا محصولات، مدل‌های هوش مصنوعی، تراشه‌ها و حافظه‌ها همگی در هماهنگی کامل با یکدیگر توسعه یابند.
رفع گلوگاه‌های پردازشی در استنتاج
اوپن‌ای‌آی با تکیه بر این رویکرد یکپارچه، توانسته است مراحل خاصی از فرایند استنتاج را که معمولاً گلوگاه‌هایی در پردازش ایجاد می‌کنند، بهینه کند. به طور ویژه، جالاپینو برای به حداقل رساندن تأخیرها در مراحل پیش‌پردازش و ارتباطات داده‌ای طراحی شده است؛ مراحلی که به گفته اوپن‌ای‌آی، اغلب نقش گلوگاه را در سیستم ایفا می‌کنند.
به نقل از تک‌کرانچ، این شرکت در مطلبی که نتایج این ارزیابی‌ها را تشریح می‌کرد، اعلام کرد که هدف از طراحی جالاپینو کاهش جابه‌جایی داده و به حداقل رساندن تأخیرهای ارتباطی بوده است. این موضوع بدین معناست که وضعیت مدل، از جمله حافظه پنهان KV که هنگام تولید پاسخ استفاده می‌شود، می‌تواند به‌طور دقیق در محل مشخصی قرار گرفته و به صورت محلی حفظ شود، در حالی که سیستم ترکیب مناسبی از توان محاسباتی، حافظه و شبکه را برای هر مرحله از استنتاج فعال می‌کند.
