انویدیا راهی ساده برای کاهش هزینه هوش مصنوعی پیدا کرد

شرکت انویدیا با معرفی فناوری انتقال میان‌مدلی KV Cache، راهکاری مبتنی بر ریاضیات خطی ارائه کرده است که می‌تواند بدون پردازش دوباره مکالمات، جابه‌جایی بین مدل‌های هوش مصنوعی را تا ۲۵ برابر سریع‌تر و ارزان‌تر کند.

به‌ گزارش سرویس هوش مصنوعی تک‌ناک، در سیستم‌های هوش مصنوعی، زمانی که یک وظیفه میان مدل‌های مختلف جابه‌جا می‌شود، هزینه پنهانی سنگینی ایجاد می‌شود. برای مثال، وقتی یک مدل کوچک‌تر کاری را به یک مدل قدرتمندتر واگذار می‌کند یا پس از پایان پردازش دوباره به مدل ارزان‌تر بازمی‌گردد، مدل مقصد باید کل تاریخچه مکالمه را از ابتدا پردازش کند. این بازپردازش کامل، مصرف منابع محاسباتی و زمان پاسخ‌دهی را افزایش می‌دهد و به یک گلوگاه جدی برای شرکت‌هایی تبدیل شده است که روی گردش‌های کاری طولانی‌مدت و چندمدلی هوش مصنوعی کار می‌کنند.

بیشتر بخوانید: رشد OpenAI در بین کاربران سازمانی آمریکا سریع‌تر شد

پژوهشگران انویدیا برای رفع این محدودیت، تکنیکی به نام انتقال میان‌مدلی KV Cache ارائه کرده‌اند. این روش با نگاشت مستقیم حافظه KV ایجادشده در مدل مبدا به ساختار مورد نیاز مدل مقصد، نیاز به بازسازی کامل زمینه مکالمه را حذف می‌کند. این فناوری برای سناریوهای واقعی هوش مصنوعی عاملی اهمیت زیادی دارد، چرا که در چنین کاربردهایی، اطلاعات زمینه‌ای در طول ده‌ها یا صدها تعامل متوالی افزایش پیدا می‌کند. انتقال KV Cache میان مدل‌ها می‌تواند هزینه پردازش و تاخیر را در این جریان‌های کاری با استفاده از محاسبات خطی ساده به جای آموزش یا اجرای یک مدل یادگیری عمیق اضافی کاهش دهد. نتایج آزمایش‌های انویدیا نشان می‌دهد در مدل‌هایی هوش مصنوعی که با یکدیگر سازگاری دارند، این نگاشت خطی می‌تواند سرعت پردازش را ۲.۷ تا ۲۵ برابر نسبت به بازسازی کامل مکالمه افزایش دهد، در حالی که تا ۹۸ درصد از عملکرد مدل مقصد در حالت مستقل حفظ می‌شود.

دلیل هزینه بالای تغییر مدل در میانه پردازش

برای فهم این مشکل، باید به نحوه عملکرد حافظه در مدل‌های زبانی بزرگ نگاه کرد. هر زمان که یک LLM ورودی جدیدی دریافت می‌کند، ابتدا وارد مرحله Prefill می‌شود؛ مرحله‌ای ک مدل، کل توکن‌های ورودی را پردازش می‌کند و مقادیر Key و Value مورد نیاز را برای ساخت KV Cache محاسبه می‌نماید. پس از تکمیل این مرحله، مدل وارد فاز Decode می‌شود و توکن‌های جدید را به‌ صورت مرحله‌به‌مرحله تولید می‌کند. در این فرایند، مدل از KV Cache برای دسترسی سریع به اطلاعات گذشته استفاده می‌کند و دیگر مجبور نیست کل تاریخچه مکالمه را برای تولید هر توکن دوباره پردازش کند.

برای مطالعه بیشتر: ادوبی فایرفلای به استودیوی صوتی هوش مصنوعی تبدیل می‌ شود

در کاربردهای طولانی‌مدت هوش مصنوعی عاملی، حجم Context به‌تدریج افزایش می‌یابد. از آنجا که هزینه Prefill با طول ورودی و اندازه مدل رابطه مستقیم دارد، جلسات طولانی می‌توانند هزینه محاسباتی بسیار بالایی ایجاد کنند. مشکل اصلی زمانی رخ می‌دهد که سیستم تصمیم می‌گیرد در میانه یک جلسه، مدل را تغییر دهد؛ مانند زمانی که یک وظیفه استدلالی پیچیده به مدل بزرگ‌تر منتقل می‌شود یا برای کاهش هزینه، پردازش به مدل کوچک‌تر بازمی‌گردد. مدل‌های زبانی مختلف به دلیل تفاوت در معماری، ساختارهای متفاوتی برای ذخیره و دریافت KV Cache دارند. به همین دلیل، هر تغییر مدل باعث می‌شود مدل جدید نتواند از حافظه قبلی استفاده کند و مجبور شود کل زمینه موجود را دوباره از مرحله Prefill پردازش کند. فناوری جدید انویدیا با هدف حذف همین هزینه اضافی طراحی شده است.

روش انتقال میان مدل‌های هوش مصنوعی انویدیا

پژوهشگران انویدیا در مطالعه‌ای جدید، امکان انتقال KV Cache میان مدل‌های مختلف هوش مصنوعی را بررسی کرده‌اند؛ روشی که به توسعه‌دهندگان اجازه می‌دهد حافظه ایجادشده توسط یک مدل زبانی بزرگ را بدون اجرای دوباره مرحله Prefill، به ساختار قابل استفاده برای مدل دیگری تبدیل کنند. در صورت موفقیت این رویکرد، انتقال KV Cache می‌تواند در هر دو مسیر کوچک به بزرگ و بزرگ به کوچک کاربردی باشد. در سناریوی اول، یک مدل ارزان‌تر و کم‌مصرف می‌تواند وظایف روزمره یک سیستم هوش مصنوعی عاملی را انجام دهد و تنها هنگام مواجهه با مسائل پیچیده استدلالی، حافظه آن به یک مدل بزرگ‌تر منتقل شود تا فرایند بدون از دست رفتن زمینه مکالمه ادامه پیدا کند. در مسیر معکوس، انتقال از مدل بزرگ به کوچک می‌تواند هزینه‌های پردازشی را کاهش دهد. برای مثال، یک مدل قدرتمند می‌تواند در ابتدای جلسه یک پرامپت سیستمی بسیار پیچیده یا یک سند PDF حجیم را تحلیل کند. پس از پایان این مرحله سنگین، وضعیت حافظه جلسه به مدل کوچک‌تری منتقل می‌شود تا تعاملات سریع و مداوم بعدی را با هزینه کمتر مدیریت کند.

تلاش‌های قبلی برای حل مشکل انتقال KV Cache با چند مانع اساسی نظیر نیاز به آموزش‌های پرهزینه مبتنی بر گرادیان و وابستگی شدید به محدودیت‌های معماری خاص روبه‌رو بودند. در این تحقیق اولیه، تیم انویدیا انتقال‌ها را به مدل‌های هم‌خانواده محدود کرد؛ یعنی مدل‌هایی مانند Qwen، Llama و Ministral که از توکنایزر، داده‌های آموزشی و اصول معماری مشابهی استفاده می‌کنند، اما در اندازه و تعداد لایه‌ها تفاوت دارند. با وجود این، محققان معتقد هستند این روش می‌تواند در آینده به انتقال میان خانواده‌های کاملا متفاوت مدل‌ها، مدل‌هایی با تعداد متفاوت هدهای توجه یا معماری‌های ترکیبی مجهز به سازوکارهای حافظه جدید گسترش پیدا کند.

مهم‌ترین نتیجه این پژوهش این است که ساختار KV Cache میان مدل‌ها برخلاف تصور اولیه، ماهیتی به‌ شدت خطی دارد. به همین دلیل، انتقال آن می‌تواند با عملیات جبری ساده انجام شود و نیازی به ساخت یک شبکه عصبی جدید یا آموزش سنگین ندارد. در آزمایش انتقال حافظه از مدل Qwen3 با ۱۴ میلیارد پارامتر به نسخه ۳۲ میلیارد پارامتری، پژوهشگران دریافتند یک نگاشت خطی ساده بین لایه‌های مبدأ و مقصد قادر است ۵۶ درصد از واریانس کلیدهای مدل مقصد و ۳۲ درصد از واریانس مقادیر آن را بازسازی کند. زمانی که چندین لایه مبدا به‌ صورت ترکیبی استفاده شدند، این میزان به‌ ترتیب به ۷۹ و ۶۵ درصد رسید.

برای تبدیل این یافته به یک راهکار عملی، انویدیا یک نگاشت‌گر Ridge بسته‌شکل مبتنی بر هر هد طراحی کرده است که از سه مولفه اصلی تشکیل می‌شود:

• رگرسیون Ridge مستقل برای هر هد: این سیستم به جای استفاده از مدل‌های یادگیری عمیق با مجموعه‌ای کوچک شامل چند صد نمونه متنی، یک رگرسیون خطی ساده را یاد می‌گیرد. این فرایند برای هر هد توجه به‌ صورت جداگانه انجام می‌شود تا بهترین رابطه تبدیل میان حافظه دو مدل پیدا شود.

• انتخاب هوشمند لایه‌های مبدا: به دلیل تفاوت در تعداد لایه‌های مدل‌های مختلف، سیستم تمام لایه‌های مبدأ را بررسی می‌کند و مناسب‌ترین آنها را برای بازسازی هر لایه مقصد انتخاب می‌نماید. این کار باعث می‌شود تنها بخش‌های ارزشمند حافظه مدل قبلی به مدل جدید منتقل شوند.

• نگاشت فضای محتوایی: در مرحله آماده‌سازی داده، سیستم کدگذاری‌های موقعیتی RoPE را حذف می‌کند. RoPE یک تکنیک رایج در مدل‌های زبانی است که با اعمال تبدیل‌های ریاضی وابسته به موقعیت، ترتیب توکن‌ها را به مدل منتقل می‌کند. حذف این مؤلفه باعث می‌شود نگاشت‌گر بتواند روی ورودی‌هایی با طول بیشتر از داده‌های آموزشی نیز تعمیم پیدا کند.

آزمایش انتقال KV Cache در دنیای واقعی

پژوهشگران انویدیا برای بررسی عملکرد این فناوری، خط انتقال را روی شش خانواده مدل هوش مصنوعی با KV سازگار آزمایش کردند. منظور از KV سازگار این است که مدل مبدا و مقصد تعداد هدهای KV و ابعاد هر هد یکسانی دارند؛ ویژگی‌ که معمولا در مدل‌های مختلف یک خانواده دیده می‌شود. خانواده‌های آزمایش‌شده شامل Qwen3، Llama 3.1 و Ministral 3 بودند و انتقال KV Cache بین مدل‌هایی با اندازه ۳ تا ۷۰ میلیارد پارامتر بررسی شد. یکی از آزمایش‌ها شامل جهش بزرگ ۸.۸ برابری از Llama 3.1 8B به نسخه 70B بود. برای بررسی طیف گسترده‌ای از وظایف، مدل‌ها با پنج معیار اصلی دقت شامل ARC-Challenge، HellaSwag، WinoGrande، MMLU و GSM8K آزمایش شدند. همچنین معیارهایی مانند پیچیدگی زبانی در WikiText-2 و مکالمه چندمرحله‌ای CoQA نیز بررسی شد. پژوهشگران برای ساخت نگاشت خطی، تنها از یک مجموعه کوچک شامل ۵۰۰ نمونه متنی با طول ۱۰۲۴ توکن استفاده کردند.

خبر پیشنهادی: مدل جدید Hy4 تنسنت وارد مرحله آموزش شد

نتایج سیستم با دقت پایه‌ای مقایسه شد؛ یعنی حالتی که مدل مقصد مرحله Prefill کامل و سنتی را انجام می‌دهد. همچنین نسخه کامل سیستم با حالت‌های ساده‌تر مانند کاهش تعداد لایه‌های انتخابی یا حذف برخی اجزا مقایسه شد. همچنین پژوهشگران روش خود را با یک شبکه عصبی عمیق آموزش‌دیده با پس‌انتشار مقایسه کردند تا مشخص شود آیا مدل‌های پیچیده‌تر می‌توانند در موارد دشوار عملکرد بهتری ارائه دهند. در چهار مورد از شش جفت مدل آزمایش‌شده، نگاشت‌گر خطی Ridge توانست بین ۷۳ تا ۹۸ درصد از دقت Prefill مستقل مدل مقصد را حفظ کند. حتی در انتقال بزرگ Llama 3.1 8B به 70B نیز این روش ۷۲.۸ درصد از دقت مدل مقصد را حفظ کرد.

سرعت این روش نیز بین ۲.۷ تا ۲۵ برابر بیشتر از اجرای دوباره Prefill بود. برای مثال، انتقال KV Cache با طول ۳۲۷۶۸ توکن از Qwen3 14B به مدل 32B تنها ۲۷۸ میلی‌ثانیه زمان برد، در حالی که Prefill معمولی نزدیک به ۷ ثانیه طول کشید. این سیستم در مکالمات چندمرحله‌ای نیز پایداری بالایی نشان داد. میزان کاهش دقت میان حالت پایه و حافظه منتقل‌شده در طول ۱۰ مرحله مکالمه بسیار کم بود و نشان داد این روش در جلسات طولانی هوش مصنوعی عاملی باعث شکست زنجیره‌ای نمی‌شود. با وجود این، روش خطی ساده در برخی مدل‌ها محدودیت‌هایی داشت. در دو پیکربندی Ministral، عملکرد سیستم به‌شدت کاهش یافت، زیرا نگاشت خطی نمی‌توانست خارج از داده‌های کالیبراسیون به‌خوبی تعمیم پیدا کند. پژوهشگران برای حل این مشکل، نگاشت خطی را با یک شبکه عصبی غیرخطی MLP جایگزین کردند که شامل دو لایه مخفی با ۱۰۲۴ واحد بود و با همان داده‌ها آموزش دید. این تغییر باعث افزایش پیچیدگی و هزینه آموزش شد، اما دقت را دوباره به بیش از ۹۰ درصد رساند.

مشکلی بزرگ‌تر از یک پژوهش

معرفی انتقال KV Cache میان مدل‌ها بخشی از تلاش گسترده صنعت برای حل مشکل گلوگاه حافظه در هوش مصنوعی است؛ مشکلی که به یکی از موانع اصلی توسعه هوش مصنوعی سازمانی تبدیل شده است. با افزایش استفاده از مدل‌های زبانی بزرگ برای پردازش اسناد عظیم، پایگاه‌های کد و وظایف استدلالی طولانی، مدیریت این لایه حافظه به اندازه خود مدل‌ها اهمیت پیدا کرده است. پژوهشگران در سال گذشته از مسیرهای مختلفی به این مشکل پرداخته‌اند. برای مثال، انویدیا فناوری Dynamic Memory Sparsification یا DMS را معرفی کرده است که با حذف هوشمند توکن‌های کم‌اهمیت از KV Cache، هزینه استدلال را تا ۸ برابر کاهش می‌دهد.

حتما بخوانید: تردید متخصصان ایمنی کودک درباره ChatGPT برای نوجوانان

روش‌های دیگر روی فشرده‌سازی داده تمرکز دارند. پژوهشگران MIT تکنیکی به نام Attention Matching توسعه داده‌اند که KV Cache را بدون کاهش کیفیت تا ۵۰ برابر فشرده می‌کند. انویدیا نیز فناوری KV Cache Transform Coding یا KVTC را معرفی کرده است که با استفاده از مفاهیم فشرده‌سازی رسانه‌ای، حافظه را ۲۰ برابر کاهش می‌دهد بدون اینکه وزن‌های مدل هوش مصنوعی تغییر کنند. علاوه بر فشرده‌سازی، برخی پژوهش‌ها روی کاهش هزینه بازیابی حافظه تمرکز دارند. ابزارهایی مانند IndexCache با حذف محاسبات تکراری لایه‌ها، زمان تولید اولین توکن را در کاربردهای دارای Context طولانی کاهش می‌دهند. همچنین مدل‌هایی مانند DeepSeek و خانواده GLM با نوآوری‌های معماری، مدیریت KV Cache را بهینه می‌کنند.

با حرکت سیستم‌های هوش مصنوعی به سمت وظایف طولانی‌تر و معماری‌های پیچیده‌تر، زیرساخت حافظه به اندازه خود مدل‌ها اهمیت پیدا خواهد کرد. انتقال KV Cache میان مدل‌ها یکی از ابزارهای جدیدی است که می‌تواند به توسعه‌دهندگان کمک کند هزینه اجرای سیستم‌های چندمدلی هوش مصنوعی را کاهش دهند.