فهرست مطالب
مدل متن‌باز Kimi K3 شرکت Moonshot با معماری جدید KDA و توانایی پردازشی بالا به رقیب جدی OpenAI و آنتروپیک تبدیل شده است.
به گزارش سرویس هوش مصنوعی تکناک، این مدل هوش مصنوعی عظیم با ۲.۸ تریلیون پارامتر با هدف دستیابی به هوش مصنوعی در مقیاس مرزی (Frontier-Scale Intelligence) ساخته شده است. Kimi K3 یک مدل چندوجهی با پنجره زمینه‌ای نزدیک به یک میلیون توکن است که طبق ادعای سازندگان، عملکردی رقابتی و حتی سریع‌تر از بسیاری از مدل‌های رقیب ارائه می‌دهد. اگرچه احتمال می‌رود Moonshot بخشی از معماری پایه این مدل را با الهام از مدل‌های Claude توسعه داده باشد، علاوه بر این، مدل متن‌باز Kimi K3 دارای یک نوآوری اختصاصی در حوزه مدیریت حافظه KV Cache است که با عنوان Kimi Delta Attention یا KDA شناخته می‌شود.
حافظه KV Cache چیست؟
برای درک اهمیت این فناوری، می‌توان فرایند پردازش مدل‌های زبانی را به نویسنده‌ای با حافظه کوتاه‌مدت ضعیف تشبیه کرد که برای نوشتن هر جمله جدید مجبور است تمام متن قبلی را دوباره مرور کند. با افزایش طول متن، هزینه این بازخوانی نیز افزایش می‌یابد. KV Cache در واقع مانند یک دفترچه یادداشت کمکی عمل می‌کند که اطلاعات مهم پردازش‌شده را ذخیره می‌کند و نیاز مدل به بازخوانی مداوم کل زمینه را کاهش می‌دهد؛ موضوعی که سرعت پردازش را چندین برابر افزایش می‌دهد. در حالی که معماری رایج توجه مربعی باعث می‌شود اندازه KV Cache با افزایش طول زمینه رشد کند، مدل متن‌باز Kimi K3 از معماری Hybrid Linear Attention بهره می‌برد که ترکیبی از حالت‌های Recurrent و Hybrid Interleaving را با نسبت ۳ به ۱ به کار می‌گیرد.
بیشتر بخوانید: رئیس‌جمهور چین چهار اصل برای حکمرانی جهانی هوش مصنوعی پیشنهاد کرد
در معماری سنتی، مدل باید تقریبا تمام اطلاعات خوانده‌شده را ذخیره کند؛ در نتیجه هرچه زمینه بزرگ‌تر شود، حافظه مورد نیاز افزایش می‌یابد و عملکرد کاهش پیدا می‌کند. اما معماری KDA با استفاده از سه حالت Recurrent، اطلاعات کلیدی را به صورت خلاصه و فشرده نگهداری می‌کند. این خلاصه ثابت باقی می‌ماند و با افزایش طول متن رشد نمی‌کند، چرا که داده‌های قدیمی و کم‌اهمیت به‌تدریج حذف می‌شوند. البته این روش خطر از دست رفتن جزئیات بسیار خاص را به همراه دارد. برای جبران این محدودیت، حالت Hybrid Interleaving به عنوان یک حافظه جهانی عمل می‌کند؛ این بخش تصویری فشرده از کل زمینه ایجاد می‌کند و در مواقع نیاز، اطلاعات کامل را بازیابی می‌نماید، که این فرایند مشابه فشرده‌سازی یک فایل ویدیویی حجیم و باز کردن موقت آن هنگام نیاز است.
در نتیجه، معماری مدل متن‌باز Kimi K3 الگویی چهارمرحله‌ای ایجاد می‌کند:
- سه لایه KDA که خلاصه‌های سریع و کم‌حجم نگهداری می‌کنند.
- یک لایه Global Attention که نمای کاملی از تمام اطلاعات ارائه می‌دهد.
تکرار این ساختار باعث می‌شود سه‌چهارم فرایند حافظه از یک روش بسیار سریع و کم‌هزینه استفاده کند و حجم KV Cache به شکل قابل توجهی کاهش یابد.
مدل متن‌باز Kimi K3 به دنبال دولتی کردن هوش مصنوعی
مرتبط: مدل هوش مصنوعی چینی Kimi K3 همه را شگفت‌زده کرد
با وجود این، بهره‌وری KDA به معنای کاهش مصرف کلی حافظه HBM نیست، چرا که مدل متن‌باز Kimi K3 از فناوری بهینه‌سازی دیگری با نام WideEP نیز استفاده می‌کند. این پیشرفت‌های معماری Kimi K3 می‌تواند تهدیدی جدی برای OpenAI و آنتروپیک باشد. دین دبلیو بال، مدیر آینده‌پژوهی راهبردی OpenAI در واکنش به رشد مدل‌های متن‌باز چینی، آنها را عامل کاهش انگیزه سرمایه‌گذاری‌های عظیم در حوزه هوش مصنوعی دانسته و هشدار داده است که سلطه مدل‌های Open-Weight می‌تواند به چیزی شبیه «کمونیسم کامل هوش مصنوعی» منجر شود؛ دیدگاهی که بر اساس آن، هوش مصنوعی به جای یک محصول تجاری، به یک زیرساخت عمومی تحت مدیریت دولت تبدیل خواهد شد. در سوی دیگر، آنتروپیک نیز پس از مطرح شدن مدل متن‌باز Kimi K3 به عنوان رقیبی جدی برای مدل‌های پیشرفته خود، دسترسی به مدل پرچم‌دار Fable 5 را در سطح گسترده‌تری از اشتراک‌های خود حفظ کرده است.
