مدل هوش مصنوعی آلمانی Soofi S با ۳۰ میلیارد پارامتر و معماری ترکیبی جدید، رکوردهای جدول بنچمارک مدلهای متنباز را جابهجا کرده است.
به گزارش سرویس هوش مصنوعی تکناک، پس از عرضه مدل Soofi S، منتقدان بر این باور بودند که این مدل با استانداردهای کلاسیک قانون مقیاسگذاری Chinchilla به شدت بیشازحد آموزش دیده است.
شرکت گوگل دیپمایند این قوانین را در سال ۲۰۲۲ منتشر کرد که نشان میداد چگونه باید اندازه مدل و دادههای آموزشی را برای یک بودجه محاسباتی ثابت متعادل کرد. نقطه بهینه شناساییشده توسط آنها تقریباً ۲۰ توکن به ازای هر پارامتر بود، اما Soofi S این نسبت را پشت سر گذاشته است. با حدود ۲۷ تریلیون توکن و ۳۰ میلیارد پارامتر، این مدل به نسبت چندین صد به یک میرسد. اگر فقط ۳.۲ میلیارد پارامتر فعال در هر توکن را در نظر بگیریم، این نسبت به چندین هزار به یک افزایش مییابد.
مایکل فروم از اعضای تیم رهبری فنی پروژه، این انتقاد را رد میکند. استدلال فروم این است که آن قوانین به سادگی برای معماریهای Mixture-of-Experts (MoE) صدق نمیکنند. فروم بیان میکند که تحقیقات جدید نشان میدهد قوانین مقیاسگذاری قدیمی برای مدلهای متراکم دیگر برای معماریهای MoE کاربرد ندارند. دلیل آن به نحوه ساخت مدلهای MoE برمیگردد، چرا که متخصصان فردی از مشاهده اسناد مشابه سود میبرند، بنابراین تکرار دادهها در یک مجموعه داده بزرگ و با کیفیت بالا، مشکل کمتری نسبت به مدلهای متراکم ایجاد میکند. به عنوان مقایسه، فروم به انویدیا اشاره میکند که مدلهای خود را روی ۲۵ تریلیون توکن آموزش داده است.
هوش مصنوعی آلمانی Soofi S یکی از اولین مدلهای زبانی بزرگ است که به طور کامل در ابر هوش مصنوعی صنعتی دویچه تلکوم در مونیخ آموزش دیده است. این مدل متنباز ۳۰ میلیارد پارامتری از یک معماری ترکیبی سبک استفاده میکند و ترکیب آموزشی آن به طور هدفمند به سمت زبان آلمانی وزندهی شده است. کنسرسیوم تحقیقاتی آلمانی با هماهنگی انجمن هوش مصنوعی آلمان (KI Bundesverband)، مدل Soofi S 30B-A3B را منتشر کرده که بر اساس گزارش پیشآموزشی آن، بالاترین امتیاز را در معیارهای انگلیسی و آلمانی در میان مدلهای کاملاً متنباز کسب کرده و از پیشگامان قبلی مانند OLMo 3 32B و Apertus 70B پیشی گرفته است.
به لطف معماری ترکیبی Mamba-Transformer، مدل Soofi S حتی در زمینههای طولانی نیز عملکرد خود را حفظ میکند، در حالی که مدلهای متراکمی مانند Apertus 70B و Qwen3 32B افت شدیدی دارند. Soofi S یک مدل Mixture-of-Experts است که در مجموع ۳۱.۶ میلیارد پارامتر دارد، اما در هر توکن تولیدشده تنها حدود ۳.۲ میلیارد پارامتر را فعال میکند. این ویژگی باعث میشود هزینه محاسباتی آن به یک مدل ۳ میلیارد پارامتری نزدیکتر باشد. کنسرسیوم، معماری Nemotron 3 Nano انویدیا را بدون تغییر اتخاذ کرده که یک طراحی ترکیبی است و لایههای Mamba-2 را با لایههای توجه استاندارد ترکیب میکند.
تفاوت کلیدی با ترنسفورمرهای معمولی در رفتار حافظه است. در مدلهای مرسوم، کش KV که توکنهای قبلی را برای محاسبه توجه ذخیره میکند، با طول زمینه به صورت خطی رشد میکند. با ورودیهای طولانی و درخواستهای موازی زیاد، بارگذاری مجدد آن کش به یک گلوگاه تبدیل میشود. در هوش مصنوعی آلمانی Soofi S تنها ۶ لایه از ۵۲ لایه چنین کشی را نگهداری میکنند. نتیجه عملی این موضوع در خروجی تولید نمایان میشود؛ در طول زمینه ۴۰ هزار توکن با ۳۲ درخواست موازی، Soofi S تقریباً هشت برابر بیشتر از مدلهای متراکم در محدوده ۱۴ تا ۲۴ میلیارد پارامتر، توکن در ثانیه تولید میکند. در حالی که برای مدلهای مرسوم با افزایش زمینه، خروجی به شدت کاهش مییابد، Soofi S از ۴ هزار تا ۲۵۶ هزار توکن تقریباً ثابت میماند. تنها مدلی که در اندازهگیریها رفتار مشابهی نشان میدهد، Qwen3.5 35B-A3B شرکت علیبابا است که آن هم از معماری ترکیبی استفاده میکند.
کنسرسیوم حدود ۲۷ تریلیون توکن را در مجموع در سه مرحله پردازش کرد. در مرحله اول، مدل مبانی زبان را از حدود ۲۰ تریلیون توکن یاد میگیرد که از ترکیب گستردهای از وب، کد، ریاضیات و متون تخصصی حوزه استخراج شده است. مرحله دوم با حدود ۶ تریلیون توکن از منابع با کیفیت بالاتر دنبال میشود که برای تقویت الگوهای آموختهشده قبلی طراحی شده است. مرحله سوم کوتاهتر است و پنجره زمینه را با آموزش روی اسناد بسیار طولانی تا یک میلیون توکن گسترش میدهد. تمرکز هدفمند بر زبان آلمانی بسیار حیاتی است؛ در مرحله اول، آلمانی ۷.۲ درصد از ترکیب آموزشی را تشکیل میدهد و در مرحله دوم، این سهم به ۱۵.۳ درصد افزایش مییابد. در دستورالعمل مرجع Nemotron انویدیا، تمام زبانهای غیر انگلیسی در مجموع تنها حدود ۵ درصد سهم دارند.
کنسرسیوم برای منابع داده، متنهای وب آلمانی از HPLT، پیکره آلمانی با مجوز آزاد German Commons، بخشهای آلمانی FinePDFs و FineWiki و پیکره تجاری Genios شامل ۱۹۳ میلیون مقاله روزنامه از ۹۱۶ نشریه آلمانی را ترکیب میکند. متون آلمانی ترجمهشده توسط ماشین و تولیدشده به صورت مصنوعی نیز این ترکیب را تکمیل میکنند. بر اساس گزارش، در ارزیابیها در برابر ۱۶ مدل متنباز دیگر، Soofi S در امتیازات کلی برای هر دو زبان آلمانی و انگلیسی، در میان تمام مدلهای هوش مصنوعی متنباز پیشتاز است. این شامل OLMo 3 32B از موسسه آلن برای هوش مصنوعی و Apertus 70B از ETH زوریخ و EPFL میشود. در برابر تمامی مدلهای اروپایی، این مدل در تمامی معیارهای آلمانی مجموعه، پیشتاز است که گاهی این برتری با اختلاف دو رقمی همراه است.
در معیارهای کد، هوش مصنوعی آلمانی Soofi S امتیاز ۷۳.۸ درصد در HumanEval، ۷۰.۲ در MBPP و ۸۴.۲ در گونه آلمانی MBPP کسب کرده که بهترین نتایج در میان همتایان متنباز است. در INCLUDE-DE، آزمونی برای دانش منطقهای خاص آلمان، Soofi S با ۶۱.۲ امتیاز در کنار مدل بزرگتر Qwen3.5 35B-A3B به مقام اول مشترک دست یافت. در مقایسه با مرجع Nemotron، دستورالعمل دادههای آلمانی، مهارت زبانی را ۱۵.۱ امتیاز و آزمون علمی GPQA-Diamond را ۹.۶ امتیاز بدون قربانی کردن عملکرد انگلیسی بهبود میبخشد. با وجود این، Soofi S در رقابتهای ریاضی آلمانی عملکرد ضعیفتری دارد و در Minerva MATH-DE امتیاز ۵۶ را کسب کرده که بسیار پایینتر از Qwen3.5 35B-A3B (۷۶.۵) و Gemma 3 27B (۶۵.۶) است. همچنین در بازیابی واقعی باز در NaturalQuestions نیز عقبتر است که احتمالا به داشتن تنها ۳ میلیارد پارامتر فعال مربوط میشود.
آزمون زمینه طولانی RULER نیز ضعف خاصی را آشکار میکند؛ زمانی که مدل مجبور است کلمات پرتکرار را از یک متن طولانی استخراج کند، نرخ موفقیت Soofi S پس از ۳۲ هزار توکن زمینه به حدود ۳ درصد کاهش مییابد، در حالی که مدل قابل مقایسه Nemotron هنوز ۶۰ تا ۶۴ درصد موفقیت دارد. نویسندگان این موضوع را به این واقعیت نسبت میدهند که دادههای آموزشی زمینه طولانی آنها حاوی اسناد طولانی بسیاری است، اما فاقد دادههای مصنوعی طراحیشده برای وظایف استخراج است. در دوازده وظیفه باقیمانده RULER، هر دو مدل عملکرد تقریباً یکسانی دارند.
اجرای آموزش بین ماههای مارس و مه روی ۵۱۲ پردازنده گرافیکی Nvidia B200 در ابر هوش مصنوعی صنعتی دویچه تلکوم در مونیخ انجام شد که در مجموع حدود ۲۵۳ هزار ساعت-پردازنده گرافیکی بود. طبق گزارش، این مرکز کاملاً با انرژی تجدیدپذیر کار میکند، با آب کانال آیزباخ خنک میشود و گرمای اتلافی را به محله اطراف یعنی توچرپارک تزریق میکند. پشت پروژه Soofi، کنسرسیومی از موسسات تحقیقاتی و شرکتهای آلمانی قرار دارد که توسط انجمن هوش مصنوعی آلمان هماهنگ شده و توسط وزارت فدرال اقتصاد و انرژی آلمان به عنوان بخشی از برنامه اروپایی IPCEI-CIS تامین مالی شده است. مشارکتکنندگان شامل موسسات فرانهوفر IAIS و IIS، مرکز تحقیقات هوش مصنوعی آلمان (DFKI)، دانشگاه فنی دارمشتات، دانشگاه وورتسبورگ، مرکز تحقیقات L3S، دانشگاه علوم کاربردی برلین و شرکتهای هوش مصنوعی Ellamind و Merantix Momentum هستند.
بر اساس گزارش دیکودر، هدف این پروژه، ساخت یک خانواده مدل هوش مصنوعی اروپایی متنباز است که بتواند روی زیرساختهای مستقل اجرا شود و در کاربردهای صنعتی آزمایش شود. محققان وزنهای مدل را به همراه نقاط بررسی میانی منتخب، کد کامل آموزش و ارزیابی، همچنین فهرست دقیق دادهها شامل تعداد توکنهای خام و سهم موثر در هر منبع منتشر میکنند. طبق نظر تیم، این یعنی هوش مصنوعی آلمانی Soofi S با تعریف ۱.۰ هوش مصنوعی متنباز از Open Source Initiative مطابقت دارد. پیشنهاد سختگیرانهتر برای تعریف دادهباز اروپایی که نیازمند توزیع آزادانه هر توکن آموزشی باشد، به دلیل سهم ۱.۳ درصدی دادههای Genios که دارای مجوز تجاری است، رعایت نمیشود. گزارش بیان کرده که حدود ۹۹ درصد از ترکیب آموزشی به طور مستقل قابل بازسازی است. مجوز دقیق برای انتشار مدل هنوز نهایی نشده است. همانطور که مایکل فروم، رهبر فنی پروژه عنوان کرد که Soofi S جایگاه خود را بین پروژههای حاکمیتی چندزبانه اروپایی مانند EuroLLM یا Teuken که زبانهای بسیاری را پوشش میدهند و مدلهای متنباز بینالمللی با عملکرد بالا قرار میدهد. طبق وبسایت پروژه، کنسرسیوم برای مرحله بعدی به دنبال شرکای صنعتی است تا مدل را در کاربردهایی شامل اسناد فنی، تولید کد و سیستمهای مبتنی بر عامل آزمایش کند.
