کوالکام از اجرای مدل‌های هوش مصنوعی قدرتمند روی گوشی ها تا سال ۲۰۲۸ خبر داد

مدیرعامل کوالکام پیش‌بینی کرده است که اجرای مداوم مدل‌های هوش مصنوعی ۱۰۰ میلیارد پارامتری روی گوشی های هوشمند تا سال ۲۰۲۸ محقق خواهد شد.

به‌ گزارش سرویس هوش مصنوعی تک‌ناک، مهم‌ترین گلوگاه اجرای مدل‌های هوش مصنوعی متراکم‌تر روی گوشی‌های هوشمند، ظرفیت حافظه است. با توجه به وضعیت فعلی بازار حافظه رم پویا یا DRAM، بعید است که در آینده نزدیک شاهد عبور گسترده گوشی‌ها از مرز ۱۶ گیگابایت رم باشیم. با وجود این‌، کریستیانو آمون، مدیرعامل کوالکام معتقد است به‌ زودی دوره‌ای آغاز خواهد شد که در آن گوشی‌های هوشمند بتوانند مدل‌های زبانی بزرگ با ۱۰۰ میلیارد پارامتر را به‌طور پیوسته اجرا کنند. او همچنین تایید کرده است که شرکت‌های هوش مصنوعی در حال توسعه گوشی‌هایی با چنین قابلیتی هستند. تحقق این هدف مستلزم آن است که سازندگان حجم بسیار زیادی رم در گوشی‌های خود تعبیه کنند؛ آن هم در شرایطی که عرضه حافظه با محدودیت مواجه است و قیمت‌ها به‌ شدت افزایش یافته‌اند.

بیشتر بخوانید: این مدل هوش مصنوعی می‌تواند غول‌های فناوری را به چالش بکشد

چالش اجرای مدل‌های هوش مصنوعی قدرتمند روی گوشی

آمون در گفت‌وگو با Fireside Alpha نام شرکت‌های هوش مصنوعی متقاضی ساخت گوشی‌های مجهز به قابلیت اجرای مدل‌های زبانی ۱۰۰ میلیارد پارامتری را اعلام نکرد. با وجود این‌، پیش‌بینی او مبنی بر عرضه چنین دستگاه‌هایی در سال ۲۰۲۸، چالش بسیار بزرگی برای صنعت موبایل محسوب می‌شود. بحران حافظه تاکنون بسیاری از تولیدکنندگان را از عرضه مدل‌های مجهز به رم بیشتر منصرف کرده است؛ درحالی‌که تنها یک سال پیش، برخی گوشی‌های اندرویدی با حداکثر ۲۴ گیگابایت حافظه LPDDR5X در دسترس بودند.

برای مطالعه بیشتر: تلاش هوش مصنوعی آنتروپیک برای دسترسی به وب‌سایت‌های دولتی آمریکا

محاسبات نشان می‌دهد اجرای یک مدل ۱۰۰ میلیارد پارامتری هوش مصنوعی با کوانتیزه‌سازی ۴ بیتی، به‌تنهایی حدود ۵۰ گیگابایت رم روی گوشی نیاز دارد. این میزان، فضای مورد نیاز سیستم‌عامل، برنامه‌های در حال اجرا و حافظه نهان زمینه مکالمه را شامل نمی‌شود. حتی کوانتیزه‌سازی ۲ بیتی نیز راهکار ساده‌ای نیست، زیرا بارگذاری وزن‌های چنین مدلی به حدود ۲۵ گیگابایت حافظه نیاز دارد. بنابراین، حتی در صورت رفع محدودیت‌های عرضه و کاهش قیمت DRAM، مشکل دیگری همچنان باقی می‌ماند: اجرای مداوم مدل‌های بزرگ، گرمای قابل‌ توجهی تولید می‌کند و با فعال شدن سازوکار محدودسازی حرارتی، عملکرد تراشه کاهش می‌یابد.

راه‌حل چیست؟

اپل و کوالکام با تغییراتی در بسته‌بندی تراشه‌ها، از جمله در A20 Pro و اسنپدراگون ۸ الیت اکستریم نسل ۶، تا حدی به این چالش پرداخته‌اند. هرچند، این تغییرات به‌تنهایی گلوگاه ظرفیت حافظه را از بین نمی‌برند. اجرای عملی مدل‌های ۱۰۰ میلیارد پارامتری روی گوشی به راهکارهای معماری و بهینه‌سازی متفاوتی نیاز دارد. یکی از گزینه‌ها، کوانتیزه‌سازی تهاجمی است که با کاهش دقت نمایش پارامترها، نیاز مدل به حافظه را پایین می‌آورد و می‌تواند امکان جای‌گیری نسخه‌های یک‌بیتی را در DRAM فراهم کند. نقطه‌ضعف این روش، افت محسوس کیفیت مدل در دقت‌های پایین‌تر از ۴ بیت است؛ افتی که در وظایف استدلالی اهمیت بیشتری پیدا می‌کند.

راهکار دیگر، معماری ترکیب متخصصان یا MoE همراه با بارگذاری انتخابی متخصصان است. در این ساختار، برای پردازش هر توکن فقط بخشی از شبکه فعال می‌شود؛ بنابراین می‌توان متخصصان مورد نیاز را در رم نگه داشت و سایر بخش‌ها را به حافظه فلش منتقل کرد. اپل نیز امکان اجرای مدل‌های زبانی بزرگ از حافظه داخلی دستگاه را بررسی کرده است، اما این روش با محدودیت سرعت مواجه می‌شود، چرا که حافظه‌های UFS و NVMe معمولا پهنای باند و تاخیر مطلوبی در مقایسه با DRAM ندارند.

حتما بخوانید: شکایت جنجالی علیه Character.AI؛ چت‌بات‌ها کاربران را به خودزنی ترغیب کردند

در مقابل، استفاده از مدل‌های کوچک‌تر و تقطیرشده می‌تواند راهکار واقع‌بینانه‌تری باشد. یک مدل ۲۰ تا ۳۰ میلیارد پارامتری که با روش تقطیر آموزش دیده است، ممکن است در برخی وظایف به کیفیت مدلی ۱۰۰ میلیارد پارامتری نزدیک شود، درحالی‌که منابع محاسباتی و حافظه کمتری مصرف می‌کند. چنین رویکردی از نظر تجاری نیز عملی‌تر به نظر می‌رسد.

در مجموع، اظهارات مدیرعامل کوالکام بدون ارائه نقشه راه فنی مشخص، جزئیات سخت‌افزاری یا توضیحی درباره چگونگی رفع محدودیت حافظه، فاصله چندانی میان وضعیت فعلی و اجرای پیوسته مدل‌های ۱۰۰ میلیارد پارامتری روی گوشی‌ها ایجاد نمی‌کند. با وجود این‌، تصور گوشی‌هایی که بتوانند قابلیت‌هایی نزدیک به سیستم‌های محاسباتی قدرتمند ارائه دهند، همچنان چشم‌اندازی جذاب برای آینده هوش مصنوعی موبایل است.