AMD-135M؛ اولین مدل زبانی کوچک AMD

شرکت AMD اولین مدل زبانی کوچک خود با نام AMD-135M را رونمایی کرد. این مدل هوش مصنوعی با استفاده از تکنیک رمزگشایی گمانه‌زنی بهبود یافته است.

به‌گزارش تک‌ناک، AMD با رونمایی سخت‌افزار و نرم‌افزارهای جدید، گام‌های بلندی برای تسخیر بازار رقابتی هوش مصنوعی برداشته است. این شرکت با ارائه‌ی راهکارهای جامع، قصد دارد جایگاهش را در حوزه‌هایی تقویت کند که زیر سلطه‌ی انویدیا قرار دارد.

تامزهاردور می‌نویسد که در همین زمینه AMD اولین مدل زبانی کوچک خود را با نام AMD-135M معرفی کرده است که به خانواده‌ی Llama تعلق دارد و برای استفاده در کسب‌وکارهای خصوصی طراحی شده است. هرچند ارتباط مستقیم این مدل با تصاحب شرکت هوش مصنوعی سیلو (Silo) هنوز مشخص نیست، این اقدام از تعهد AMD برای ارائه‌ی مدل‌های پیش‌آموزش‌دیده و سفارشی‌سازی‌شده برای نیازهای مشتریان حکایت می‌کند. این مدل‌ها به‌طور کامل روی سخت‌افزارهای AMD اجرا می‌شوند.

سرعت چشمگیر مدل‌های AMD عمدتاً به‌دلیل بهره‌بردن از تکنیک رمزگشایی گمانه‌زنی است. در این روش، مدل کوچک‌تر ابتدا چندین گزینه‌ی احتمالی برای کلمه‌ی بعدی را پیش‌بینی می‌کند. سپس، این گزینه‌ها به‌واسطه‌ی مدل بزرگ‌تر و دقیق‌تر ارزیابی و تصحیح می‌شوند. این رویکرد موازی‌سازی باعث افزایش سرعت پردازش می‌شود؛ اما ممکن است به‌دلیل افزایش حجم داده‌های پردازشی، مصرف انرژی را کمی افزایش دهد.

اولین مدل زبانی کوچک AMD به نام AMD-135M

01
از 01
انواع مدل زبانی کوچک AMD-135M

AMD دو مدل زبانی کوچک جدید را معرفی کرده است: AMD-Llama-135M و AMD-Llama-135M-code. این مدل‌ها با استفاده از تکنیک رمزگشایی گمانه‌زنی، عملکرد استنتاج را بهینه‌سازی می‌کنند و برای کاربردهای مختلفی مناسب هستند. مدل AMD-Llama-135M-code به‌طور خاص برای وظایف مربوط به کدگذاری طراحی شده است. بر‌اساس آزمون‌های عملکرد AMD، هر دو مدل عملکرد موفقی از خود نشان داده‌اند.

مدل پایه، AMD-Llama-135M، با آموزش روی مجموعه داده عظیمی متشکل از ۶۷۰ میلیارد توکن عمومی از ابتدا توسعه پیدا کرد. این فرایند محاسباتی سنگین با استفاده از خوشه‌ای متشکل از چهار گره پردازشی AMD Instinct MI250، در شش روز به‌اتمام رسید. علاوه‌بر‌این، مدل AMD-Llama-135M-code با استفاده از ۲۰ میلیارد توکن تخصصی در حوزه‌ی کدنویسی ریزتنظیم شده است. این فرایند ریزتنظیم با بهره‌گیری از همان سخت‌افزار، در مدت چهار روز به‌پایان رسید.

AMD معتقد است که با اعمال بهینه‌سازی‌های بیشتر، عملکرد این مدل‌ها بهبود درخورتوجهی خواهد یافت. با‌توجه‌به پیشرفت‌های اخیر در معماری‌های MI300X و MI325X، می‌توان انتظار داشت که نسل‌های آینده این محصولات، عملکردی قوی‌تری ارائه دهند.