شرکت اینتل کتابخانه شتابدهنده NPU خود را بهعنوان دارایی متنباز دراختیار عموم قرار داد تا توسعهدهندگان بتوانند برنامههای کاربردی هوش مصنوعی را برای کار با موتورهای هوش مصنوعی اینتل بهینه کنند.
بهگزارش تکناک، اینتل درنهایت کتابخانه شتابدهنده NPU خود را بهصورت متنباز درآورده است که به توسعهدهندگان و علاقهمندان امکان میدهد تا برنامههای کاربردی خود را برای عملکرد بهتر با موتورهای هوش مصنوعی اینتل تنظیم کنند.
wccftech مینویسد که این خبر را تونی مونگکلسمای، از چهرههای شناختهشده اینتل، منتشر کرده است؛ فردی که در وهله اول کتابخانه متنباز جدید شرکت را افشا کرد. با این اقدام، کتابخانه شتابدهنده NPU به توسعهدهندگان کمک میکند تا از NPUهای موجود در خطتولید CPU مانند سری Core Ultra میتور لیک بهره ببرند.
این کتابخانه برپایه پایتون است و با ارائه رابطی سطح بالا و پشتیبانی از فریمورکهای محبوب مانند TensorFlow و PyTorch، توسعه را ساده میکند و به توسعهدهندگان قدرت میدهد تا از قابلیتهای آن برای افزایش کارآمدی وظایف مرتبط با هوش مصنوعی استفاده کنند.
تونی این کتابخانه را روی لپتاپ MSI Prestige 16 AI Evo مجهز بهCPUهای Intel Core Ultra اجرا کرده است. او توانست مدلهای TinyLlama و Gemma-2b-it را بدون اختلال در عملکرد روی دستگاه بهاجرا درآورد که پتانسیل نهفته در NPUهای اینتل و نحوه ارتقای آنها به محیط هوش مصنوعی اج برای توسعهدهندگان را نشان میدهد.
درادامه، تیم توسعه اینتل خود کتابخانه را بهشرح زیر توصیف میکند:
کتابخانه شتابدهنده NPU اینتل نوعی کتابخانه پایتون است که برای افزایش کارآمدی برنامههای شما با استفاده از قدرت واحد پردازش عصبی (NPU) اینتل برای انجام محاسبات پرسرعت روی سختافزار سازگار طراحی شده است.
در تلاش برای بهبود درخورتوجه عملکرد کتابخانه، در حال تلاش برای پیادهسازی مجموعهای از ویژگیهای مهم هستیم، از جمله:
- کوانتیزاسیون 8 بیتی
- کوانتیزاسیون 4 بیتی و GPTQ
- استنتاج با دقت ترکیبی بومی NPU
- پشتیبانی از Float16
- پشتیبانی از BFloat16 (فرمت نقطه شناور مغزی)
- پشتیبانی از torch.compile
- پیادهسازی همگامسازی افقی MLP LLM
- استنتاج استاتیک شکل
- استنتاج MHA NPU
- محاسبات ناهمگن NPU/GPU
بسیار خوشحالکننده است که کتابخانه شتابدهنده NPU بهصورت متنباز درآمده است؛ زیرا این امر درنهایت به بهبود اجرای برنامههای کاربردی هوش مصنوعی منجر میشود که روی موتورهای AI اختصاصی اینتل اجرا میشوند. همانطورکه تونی بیان کرده است، باتوجهبه ویژگیهای متعددی که برای مصرفکنندگان و توسعهدهندگان در نظر گرفته شده است، این موضوع جالب خواهد بود که چه پیشرفتهایی را در این موتورها در آینده شاهد خواهیم بود.
