فاکسکان مدل زبانی بزرگ خود به نام FoxBrain را رونمایی کرد. این مدل نسخه تقطیرشدهای از Llama 3.1 متا است.
به گزارش تکناک، فاکسکان، شرکتی که به مونتاژ آیفون و دیگر محصولات اپل شناخته میشود، از اولین مدل زبانی بزرگ (LLM) خود با نام FoxBrain پردهبرداری کرده است و قصد دارد از آن برای بهبود فرایندهای تولید و مدیریت زنجیره تأمین استفاده کند.
این شرکت تایوانی در بیانیهای اعلام کرد که FoxBrain با استفاده از تنها ۱۲۰ پردازنده گرافیکی H100 انویدیا آموزش داده شده است. این مدل زبانی برپایه معماری Llama 3.1 متا ساخته شده و ۷۰ میلیارد پارامتر دارد که ازطریق فرایند تقطیر توسعه یافته است. در این روش، یک مدل مادر برای آموزش مدل «فرزند» ازطریق پاسخهایش استفاده میشود. فاکسکان اذعان کرد که مدل LLM این شرکت در مقایسه با مدل تقطیر دیپسیک چین برتری ندارد؛ اما عملکرد کلی آن به استانداردهای جهانی بسیار نزدیک است.
به نقل از نئووین، فاکسکان علاوهبر مونتاژ محصولات اپل، سرورهای هوش مصنوعی انویدیا را تولید میکند. مدل FoxBrain، در کنار ۱۲۰ پردازنده گرافیکی H100، با شبکهبندی Quantum-2 InfiniBand انویدیا مقیاسپذیر شده و فرایند آموزش آن، تنها درحدود چهار هفته (با مجموع هزینه محاسباتی معادل ۲,۶۸۸ روز پردازنده گرافیکی) تکمیل شده است. این شرکت توانسته ۹۸ میلیارد توکن از دادههای پیشآموزشی باکیفیت را به زبان چینی سنتی و با طول پنجره متنی ۱۲۸ هزار توکن تولید کند.
همکاری فاکسکان و انویدیا موضوع جدیدی نیست و این دو شرکت در پروژههای دیگری نیز همکاری میکنند؛ ازجمله ساخت بزرگترین تأسیسات جهان برای تولید پردازندههای گرافیکی Blackwell. انویدیا ابررایانه Taipei-1 خود را نیز در اختیار فاکسکان قرار داده است تا پیشآموزش مدل را تکمیل کند. فاکسکان اعلام کرده است که FoxBrain به موتور اصلی ارتقای سه پلتفرم بزرگ این شرکت، یعنی تولید هوشمند و خودرو الکتریکی هوشمند و شهر هوشمند، تبدیل خواهد شد.
