فهرست مطالب
ایلان ماسک از پایان مرحله پیش‌آموزش مدل ۲٫۵ تریلیون پارامتری ۴.۸ Grok با استفاده از پشته نرم‌افزاری جدید C++ شرکت SpaceXAI در همین هفته خبر داد.
به گزارش سرویس هوش مصنوعی تکناک، او پیش‌تر بارها درباره این زیرساخت جدید صحبت کرده و آن را یکی از تغییرات مهم در فرایند آموزش و اجرای مدل‌های گراک دانسته بود.
به گفته ماسک، مرحله پیش‌آموزش این مدل در روزهای آینده تکمیل می‌شود و پس از آن، تیم توسعه آموزش مبتنی بر یادگیری تقویتی را آغاز خواهد کرد. این مرحله می‌تواند نقش مهمی در بهبود توانایی مدل برای حل مسائل دشوار، بررسی پاسخ‌ها و کاهش خطاهای رفتاری داشته باشد.
بیشتر بخوانید: آیا گوگل به هوش مصنوعی خودبهبودگر رسیده است؟
شیوه آموزش مدل ۴.۸ Grok
ماسک در پایان ماه ژوئن اعلام کرده بود که قصد دارد نرم‌افزارهای مربوط به آموزش و استنتاج Grok را طی حدود سه ماه به زبان‌های C و C++ بازطراحی کند. هدف اصلی این تغییر، حذف تعداد زیادی از لایه‌های واسط نرم‌افزاری و بهینه‌سازی مستقیم زیرساخت برای پردازنده‌های گرافیکی GB300 انویدیا عنوان شده بود.
او در آن زمان گفته بود که این بازطراحی می‌تواند پس از تکمیل، به بهبود قابل توجه عملکرد سیستم منجر شود. اکنون مدل ۴.۸ Grok یکی از مدل‌هایی است که با استفاده از همین پشته نرم‌افزاری جدید آموزش می‌بیند.
این مدل ۲٫۵ تریلیون پارامتر دارد و از نظر اندازه در مقیاس بسیار بزرگی قرار می‌گیرد. با پایان پیش‌آموزش، مرحله بعدی توسعه آن به یادگیری تقویتی اختصاص خواهد یافت، مرحله‌ای که پیش‌تر برای نسخه قبلی Grok مشکلاتی ایجاد کرده است.
بیشتر بخوانید: چرا اپل مسیر متفاوتی برای هوش مصنوعی انتخاب کرده است؟
دلیل تأخیر در انتشار Grok ۴.۷
در حالی که آموزش مدل ۴.۸ Grok به مرحله بعدی نزدیک می‌شود، نسخه Grok ۴.۷ هنوز منتشر نشده است. ماسک پیش‌تر گفته بود که این مدل حدود ۱۲ سپتامبر عرضه خواهد شد، اما مشکلات مربوط به یادگیری تقویتی باعث تأخیر در انتشار آن شد.
او با نزدیک شدن به زمان وعده داده‌شده اعلام کرد که Grok ۴.۷ هنگام مواجهه با برخی مسائل دشوار، گاهی خیلی زود از ادامه حل مسئله منصرف می‌شود. همچنین این مدل پاسخ‌های خود را با دقت کافی بررسی و تأیید نمی‌کند.
این مشکلات نشان می‌دهد که مرحله یادگیری تقویتی برای مدل ۴.۸ Grok نیز اهمیت زیادی خواهد داشت. تیم توسعه پس از پایان پیش‌آموزش باید روی بهبود پایداری مدل در حل مسائل دشوار و افزایش توانایی آن در بررسی پاسخ‌ها تمرکز کند.
ماسک هنوز زمان مشخصی برای انتشار ۴.۸ Grok اعلام نکرده است. در حال حاضر، مهم‌ترین نقطه عطف این پروژه پایان پیش‌آموزش در همین هفته و آغاز مرحله یادگیری تقویتی خواهد بود.
