مدل جدید هوش مصنوعی با هزینه‌ای ۱۱ برابر کمتر از OpenAI کار می‌کند

مدل جدید هوش مصنوعی BDH-CQ شرکت Pathway با معماری «پس از ترنسفورمر» می‌تواند هزینه استدلال هوش مصنوعی را تا ۱۱ برابر کاهش دهد و مسیر تازه‌ای ایجاد کند.

به گزارش سرویس هوش مصنوعی تک‌ناک،پژوهشگران در مقاله‌ای که ۱۰ اوت در پایگاه arXiv منتشر شد، عملکرد BDH-CQ را با معیار ARC-AGI-1 ارزیابی کردند.

این معیار از معماهای استدلال غیرزبانی برای سنجش توانایی شناختی مدل‌های هوش مصنوعی استفاده می‌کند.

BDH-CQ در این آزمون تقریباً امتیاز ۳۰ درصد را به دست آورد و توانست حدود سه معما از هر ۱۰ معما را در دو تلاش یا کمتر حل کند.

این امتیاز از برخی مدل‌های پیشرفته پایین‌تر است، اما مزیت اصلی BDH-CQ هزینه و اندازه آن محسوب می‌شود.

این مدل تنها با ۱۵۰ میلیون پارامتر آموزش داده شده است. پژوهشگران اعلام کردند یک مدل سبک OpenAI با امتیاز کمی بالاتر، برای این افزایش جزئی دقت حدود ۱۱ برابر توکن بیشتری مصرف کرده است.

معماری «پس از ترنسفورمر» و استدلال برداری

BDH-CQ از معماری موسوم به «پس از ترنسفورمر» استفاده می‌کند. بیشتر مدل‌های امروزی، از جمله مدل‌های مورد استفاده در ChatGPT و Claude، بر پایه ترنسفورمر ساخته شده‌اند.

این مدل‌ها برای تولید پاسخ، ورودی و تاریخچه مکالمه را به شکل توکن‌های متوالی پردازش می‌کنند. با طولانی‌تر شدن ورودی، مصرف توان محاسباتی و حافظه نیز افزایش می‌یابد.

Pathway در مدل جدید خود به جای ذخیره روابط اطلاعاتی در قالب رشته‌های طولانی متنی، از آرایه‌های عددی و بردارها برای نمایش الگوها و ارتباط میان بخش‌های مختلف اطلاعات استفاده می‌کند.

BDH-CQ همچنین یک «موتور استدلال نهفته» دارد که با اجرای حلقه‌های تکراری، پاسخ را مرحله‌به‌مرحله بهبود می‌دهد.

در این روش، افزایش تعداد حلقه‌های استدلال الزاماً باعث افزایش متناسب مصرف حافظه و توان محاسباتی نمی‌شود.

این ویژگی می‌تواند برای حل مسائل پیچیده، بدون تولید زنجیره‌های طولانی از توکن‌های متنی، اهمیت زیادی داشته باشد.

بیشتر بخوانید: امکان اتصال هم‌زمان چند حساب گوگل به ChatGPT فراهم شد

برنامه Pathway برای توسعه مدل

نتایج ARC-AGI-1 این مدل توسط چند پژوهشگر مستقل نیز بازتولید شده است. لوکاش کایزر، یکی از نویسندگان مقاله سال ۲۰۱۷ با عنوان «Attention Is All You Need» که پایه معماری ترنسفورمر را شکل داد، گفت نتایج Pathway نشان می‌دهد معماری مدل، نه فقط افزایش مقیاس، می‌تواند جهش بعدی در استدلال هوش مصنوعی را ایجاد کند.

Pathway قصد دارد معماری BDH را تا ۶۰۰ میلیارد پارامتر توسعه دهد و آن را در معیارهای دشوارتری مانند ARC-AGI-2 و ARC-AGI-3 آزمایش کند.

این شرکت همچنین می‌خواهد یک مدل زبانی بزرگ مبتنی بر این فناوری بسازد تا از آن برای توسعه چت‌بات‌های متنی استفاده کند.

Pathway امیدوار است این فناوری در حوزه‌هایی مانند امنیت سایبری و عملیات صنعتی نیز برای حل مسائل پیچیده به کار گرفته شود.

بیشتر بخوانید: گوگل با تغییر AI Overview کاربران را به استفاده از هوش مصنوعی خود ترغیب می‌کند