اینتل کتابخانه شتابدهندهی NPU خود را متنباز کرده است، که امکان اجرای مدلهای زبان سبُک مانند TinyLlama را بر روی رایانههای شخصی مجهز به پردازندههای Meteor Lake میدهد.
به گزارش تکناک،این کتابخانه اساساً برای توسعهدهندگان در نظر گرفته شده است، اما کاربران معمولی با کمی دانش برنامهنویسی نیز میتوانند از آن برای اجرای چتبات هوش مصنوعی خود بر روی Meteor Lake استفاده کنند.
این کتابخانه هماکنون در گیتهاب در دسترس است و اگرچه قرار بود اینتل یک پست وبلاگ در مورد کتابخانه شتابدهندهی NPU بنویسد، اما تونی مونگکولسمایی (Mongkolsmai)، معمار نرمافزار اینتل، آن را زودتر در X به اشتراک گذاشت. او دمویی از اجرای TinyLlama 1.1B Chat بر روی لپتاپ MSI Prestige 16 AI Evo مجهز به پردازندهی Meteor Lake را ارائه کرد و از آن در مورد مزایا و معایب گوشیهای هوشمند و گوشیهای تاشو پرسید. این کتابخانه روی هر دو سیستمعامل ویندوز و لینوکس کار میکند.
تامزهاردور گزارش میدهد که از آنجایی که کتابخانه شتابدهندهی NPU برای توسعهدهندگان ساخته شده است و نه کاربران معمولی، استفاده از آن برای مقاصد شخصی کار سادهای نیست. مونگکولسمایی کدی که برای راهاندازی چتبات خود نوشته بود را به اشتراک گذاشت و به جرات میتوان گفت اگر میخواهید همین کار را روی رایانهی شخصی خود انجام دهید، به درک درستی از پایتون نیاز دارید یا باید تک تک خطوط به اشتراک گذاشته شده در تصویر بالا را دوباره تایپ کنید و امیدوار باشید که روی رایانهی شخصی شما کار کند.
از آنجایی که کتابخانه شتابدهندهی NPU بهطور اختصاصی برای NPUها طراحی شده است، در حال حاضر تنها پردازندههای Meteor Lake میتوانند آن را اجرا کنند. پردازندههای Arrow Lake و Lunar Lake که قرار است در اواخر امسال عرضه شوند، طیف پردازندههای سازگار را گسترش خواهند داد. این پردازندههای آینده سه برابر بیشتر از Meteor Lake عملکرد هوش مصنوعی را ارائه میدهند که احتمالاً امکان اجرای مدلهای زبان بزرگتری را بر روی تراشههای لپتاپ و دسکتاپ فراهم میکند.
این کتابخانه هنوز بهطور کامل قابلیتهای خود را ارائه نکرده است و تنها با کمی کمتر از نصف قابلیتهای برنامهریزی شدهی خود عرضه شده است. قابل ذکر است که فاقد استنتاج با دقت ترکیبی است که میتواند مستقیماً روی NPU اجرا شود، BFloat16 (فرمت دادهی محبوب برای بارهای کاری مرتبط با هوش مصنوعی) و محاسبات ناهمگن NPU-GPU، که احتمالاً به هر دو پردازنده اجازه میدهد تا روی یک وظایف هوش مصنوعی کار کنند. کتابخانه شتابدهندهی NPU کاملاً جدید است، بنابراین هنوز مشخص نیست که چه تأثیری خواهد داشت، اما امیدواریم که منجر به توسعهی نرمافزارهای هوش مصنوعی جدیدی برای رایانههای شخصی مجهز به هوش مصنوعی شود.
