نرمافزار جدیدی به نام Exo به شما امکان میدهد تا با استفاده از گوشیهای هوشمند و تبلتها و کامپیوترهای خود خوشهی هوش مصنوعی خصوصی ایجاد کنید.
بهگزارش تکناک، غولهای هوش مصنوعی مانند OpenAI و جمنای گوگل و سازندگان مایکروسافت کوپایلت برای انجام کارهای هوش مصنوعی به مراکز داده عظیم دسترسی دارند. بااینحال، بهلطف کار تیمی گروهی از توسعهدهندگان، نرمافزار جدیدی به نام Exo به شما امکان میدهد تا با استفاده از گوشیهای هوشمند و تبلتها و کامپیوترهای خانگی، خوشه هوش مصنوعی شخصی راهاندازی کنید.
تامزهاردور مینویسد که این نرمافزار آزمایشی با تقسیمکردن مدل زبانی بزرگ (LLM) شما، از بخشی یا تمام دستگاههای محاسباتی خانگیتان برای اجرای چتبات شخصی یا دیگر پروژههای هوش مصنوعی استفاده میکند.
این دستگاهها میتوانند شامل گوشی و تبلتهای اندرویدی و کامپیوترهایی با سیستمعامل macOS یا لینوکس باشند. درنتیجه، دستگاههای مختلف شما باهم کار میکنند تا در نگاه مدل هوش مصنوعی، مانند کارت گرافیک قدرتمند (GPU) بهنظر برسند.
توسعهدهندگان این نرمافزار اجرای مدل Llama-3-70B را در خانه با استفاده از یک دستگاه آیفون ۱۵ پرو مکس، یک دستگاه آیپد پرو M4، یک دستگاه گلکسی S24 اولترا، دو دستگاه مکبوک پرو مجهز به تراشهی M2 و M3 و دو کارت گرافیک انویدیا GTX 4090 MSI بهنمایش گذاشتهاند.
نرمافزار Exo با Llama و دیگر مدلهای محبوب هوش مصنوعی سازگار است. همچنین با تغییری ساده در برنامه، این نرمافزار شامل رابط کاربری برنامهنویسی کاربردی (API) سازگار با ChatGPT برای اجرای مدلها میشود. برای کامپایل و اجرای این نرمافزار، تنها کافی است که دستگاههای سازگار مجهز به پایتون نسخهی ۳.۱۲.۰ و جدیدتر داشته باشید.
بعد از کامپایل و اجرا، Exo بهطور خودکار دستگاههای موجود در شبکهی شما را شناسایی و آنها را به خوشه اضافه میکند. این نرمافزار ازطریق اتصالات همتابههمتا، برابری بین دستگاهها را برقرار میکند.
درحالیکه Exo از روشهای مختلف تقسیمبندی برای توزیع کار بین دستگاهها پشتیبانی میکند، بهطور پیشفرض از روش حلقهی وزنی حافظه بهره میبرد که حجم کاری را براساس مقدار حافظه هر دستگاه تخصیص میدهد.
نرمافزار Exo از سیستمعامل iOS نیز پشتیبانی میکند؛ اما توسعهدهندگان میگویند کد این بخش به کار بیشتری برای استفاده عموم نیاز دارد. ازاینرو، نسخهی iOS بهطور موقت کنار گذاشته شده است؛ ولی با ایمیلزدن به توسعهدهندهی اصلی، امکان دسترسی به آن وجود دارد.
توسعهدهندگان قصد دارند تا نرمافزار مذکور را بهبود ببخشند و قابلیتهای بیشتری به آن اضافه کنند. همچنین، آنان برنامهی پاداش برای کمک به افزودن قابلیتها و سازگاریهای جدید در نظر گرفتهاند.
در زمان نگارش این خبر، این موارد شامل پشتیبانی از LLaVa، درخواستهای دستهای، ماژول شبکه رادیویی و پشتیبانی از استنتاج موازی خط لوله میشود. در شرایط فعلی، Exo بهنظر میرسد پروژهای جالب برای آزمایش باشد.
