فهرست مطالب
شرکت Moonshot AI با انتشار رایگان وزنهای Kimi K3، اجرای این مدل هوش مصنوعی را برای هر رک GPU ممکن کرده و با هزینه کمتر از رقبای بزرگ، به OpenAI و آنتروپیک فشار آورده است.
به گزارش سرویس هوش مصنوعی تکناک، این شرکت پس از انتشار یک پست وبلاگی و اسناد API برای مدل تازهنفس Kimi K3، به وعده خود مبنی بر انتشار رایگان وزنهای این مدل عمل کرد؛ این یعنی هر کسی با در اختیار داشتن یک رک مدرن از پردازندههای گرافیکی هوش مصنوعی، میتواند آن را بدون محدودیت خاصی اجرا کند و از آن درآمدزایی داشته باشد.
01
از 02رقابت سنگین Kimi K3 با Claude Fable و GPT-5.6 Sol
این اقدام شلیک مستقیمی به سمت بازیگران بزرگ هوش مصنوعی، بهویژه آنتروپیک و OpenAI به حساب میآید. جدیدترین مدلهای این شرکتها به ترتیب Claude Fable و GPT-5.6 Sol نام دارند و از قضا تواناییهای Kimi K3 در بنچمارکهای Moonshot، نسلهای قبلی کلود و جیپیتی را به طور کامل شکست میدهد و با فاصله اندکی پشت سر Fable و Sol حرکت میکند؛ آن هم در حالی که هزینه اجرای آن حدود ۲ تا ۳ برابر و در صورت قرار گرفتن پرسش در حافظه کش، تا ۱۰ برابر ارزانتر است. گزارش فنی Moonshot با فاش کردن نرمافزار دقیق استفادهشده در آزمایشها، بنچمارکهای منتشرشده در هفته گذشته را تایید میکند.
در مقایسه هزینههای استنتاج، شرکت Moonshot اعلام کرده که هزینههای آن به صورت داخلی اندازهگیری شده و با قیمتگذاری عمومی توکنهای شرکتهای دیگر مقایسه شده است، اما آمار و ارقام بسیار چشمگیر به نظر میرسند. این شرکت برای توکنهای ورودی Kimi K3، مبلغ ۳ دلار به ازای هر میلیون توکن دریافت میکند. این در حالی است که Fable هزینه ۱۰ دلار و Sol هزینه ۵ دلار به ازای هر میلیون توکن دارند. این رقم مربوط به ورودیهای استاندارد و بدون کش است که خود بسیار مناسب به نظر میرسد، اما ساختار حافظه پنهان هوش مصنوعی Kimi K3 در کارهای برنامهنویسی نرخ موفقیت ۹۰ درصدی دارد و در صورت استفاده زیاد از کش، هزینه ۳ دلاری را به ۳۰ سنت کاهش میدهد. وضعیت برای توکنهای خروجی نیز به همین ترتیب است.
یکی از دلایل احتمالی کارایی بالای Kimi K3 استفاده از ترکیب استاندارد MXFP4 برای وزنها و MXFP8 برای فعالسازی ورودی است؛ دو نوع داده با دقت نسبتا پایین که امکان اجرا روی حافظه ویدیویی بسیار کمتر را فراهم میکنند. همچنین از میان ۲.۸ تریلیون پارامتر کیمی، در هر لحظه تنها ۱۰۴.۲ میلیارد پارامتر فعال میشوند.
نکته جالب این است که در گزارش Moonshot تنها به استفاده از تراشه Nvidia H20 برای اجرای تستهای برنامهنویسی کیمی اشاره شده است که با استانداردهای امروز تراشهای، نسبتا ضعیف محسوب میشود. این پردازنده گرافیکی برخلاف تراشههای سری Blackwell B که تحت کنترل صادرات هستند، از انواع دادههای ممیز شناور MX به طور بومی پشتیبانی نمیکند.
بر اساس گزارش تامز هاردور، این موضوع میتواند به این معنی باشد که بهینهسازیهای هوش مصنوعی Kimi K3 اجرای آن را روی سختافزارهای ضعیفتر بسیار مناسب میسازد، اما گمانهزنی درباره اینکه اجرای آن روی سختافزارهای سازگار با MXFP مانند انویدیا بلکول میتواند کارایی هزینهای را حتی فراتر از بنچمارکهای ارائهشده ببرد نیز کاملا منطقی است. برای تایید این موضوع باید منتظر آمارهای رسمی بیشتر ماند.
02
از 02انتشار رایگان وزنهای Kimi K3 به معنای متنباز بودن نیست
علاوه بر این، Kimi K3 از ذخیرهساز سنتی و همیشه در حال گسترش کلید-مقدار (KV) استفاده نمیکند و در عوض به یک کنترلکننده وضعیت با اندازه ثابت به نام Kimi Delta Attention متکی است که در تئوری باعث صرفهجویی در حافظه ویدیویی و زمان اجرا میشود. ساختار ترکیب متخصصان (MoE) آن نیز بسیار خلوت است و در هر زمان تنها ۱۶ متخصص از میان ۸۹۶ متخصص فعال میشوند که این موضوع به کاهش هرچه بیشتر هزینههای استنتاج کمک میکند. به طور کلی، Moonshot بهینهسازی را در تمام لایههای استنتاج اعمال کرده است تا از هزینههای اضافی جلوگیری کند.
این موضوع میتواند خبر بدی برای OpenAI و آنتروپیک باشد، چرا که اکنون هر کسی با پردازندههای گرافیکی مناسب هوش مصنوعی میتواند به رقیب مستقیم آنها تبدیل شود. همچنین دسترسی آزاد به وزنهای Kimi K3 این تصور را ایجاد میکند که نرمافزارهای با وزن آزاد، تقریباً به خوبی رقبای انحصاری خود عمل میکنند و هزینه اجرای بسیار کمتری دارند. البته باید توجه داشت که وزن آزاد به معنای متنباز بودن نیست و فرایند آموزش و مجموعه دادهها همچنان به عنوان راز تجاری Moonshot باقی مانده است.
