ساخت هوش مصنوعی با قابلیت اجرا در لپ‌تاپ و گوشی

همه چیز در سرزمین هوش مصنوعی با سرعت رعد و برق در حال حرکت است. اخیرا یک توسعه‌دهنده نرم‌افزار به نام Georgi Gerganov ابزاری به نام “llama.cpp” ایجاد کرد که این ابزار می‌تواند مدل جدید زبان بزرگ هوش مصنوعی GPT-3 متا یعنی LLaMA را به صورت محلی روی لپ‌تاپ مک اجرا کند.

به گزارش تکناک، بعد از نشر این خبر خیلی زود مردم نحوه اجرای مدل هوش مصنوعی LLaMA را در لپ‌تاپ های ویندوزی ویندوز نیز بررسی کردند. سپس یک نفر آن را بر روی یک تلفن پیکسل 6 اجرا کرد و بعد آن را روی دستگاه Raspberry Pi (البته بسیار آهسته) به اجرا درآورد.

اگر این روند ادامه پیدا کند، ممکن است یک رقابت جدی بین این هوش مصنوعی و ChatGPT بوجود آید.البته باید گفت که قطعیت این موضوع هنوز تایید نشده است.

از زمان راه‌اندازی ChatGPT، برخی از افراد بخاطر محدودیت‌های داخلی این هوش مصنوعی که مانع از بحث درباره موضوعاتی می‌شود که OpenAI حساس می‌داند، ناامید شده‌اند. بنابراین رویای یک مدل زبان بزرگ منبع باز (LLM) آغاز شد که هر کسی بتواند بدون سانسور و بدون پرداخت هزینه ای زیاد، از هوش مصنوعی با قابلیت های زیادی استفاده کند.

درحال حاضر تعدادی ابزار منبع باز وجود دارد (مانند GPT-J)، اما این ابزار نیاز به مقدار زیادی رم و فضای ذخیره‌سازی GPU دارند. سایر جایگزین های منبع باز نمی توانند عملکردی در سطح GPT-3 را در سخت افزارهای دستگاه های عادی داشته باشند.

وقتی وارد LLaMA می شوید، یک LLM را می بینید که در اندازه پارامترهای مختلف از 7B تا 65B موجود است . LLaMA ادعای بی پروایی داشت: اینکه مدل‌های سایز کوچک‌تر آن می‌توانند با مدل زبانی GPT-3 ، که مدل پایه‌ای است که قدرت ChatGPT را تامین می کند ، در کیفیت و سرعت خروجی‌اش مطابقت داشته باشند.

فقط یک مشکل وجود داشت و آن هم این بود متا کد LLaMA را بصورت منبع باز منتشر کرد، اما “داده های” گسترده ذخیره شده در شبکه را فقط برای محققان واجد شرایط نگه داشت.

پرواز با سرعت LLaMA

محدودیت های متا در LLaMA زیاد دوام نیاورد، زیرا در 2 مارس، شخصی داده های LLaMA را در BitTorrent فاش کرد. یک محقق هوش مصنوعی به نام Simon Willison این مدل را با Stable Diffusion که یک مدل هوش مصنوعی تولیدکننده تصویر منبع باز است که سال گذشته عرضه شد، مقایسه کرده است.

این چیزی است که این شخص در پستی در وبلاگ خود نوشت:.او گفت: “به طور معمول، اجرای GPT-3 به چندین پردازنده گرافیکی A100 نیاز دارد (همچنین، داده های GPT-3 عمومی نیستند)، اما LLaMA می‌توانست روی پردازنده گرافیکی دستگاه های عادی نیز اجرا شود. و اکنون، با بهینه‌سازی‌هایی که اندازه این مدل را با استفاده از تکنیکی به نام کوانتیزاسیون کاهش می‌دهد، LLaMA می‌تواند روی یک مک M1 یا یک پردازنده گرافیکی انویدیا اجرا شود.”

در دنیای هوش مصنوعی یا AI (artificial intelligence : field of computer science and engineering practices for intelligence demonstrated by machines and intelligent agents) همه چیز به قدری سریع پیش می رود که گاهی وقت ها به سختی می توان با آخرین تحولات همراهی کرد.

در اینجا لیستی از رویدادهای قابل توجه مرتبط با LLaMA بر اساس جدول زمانی ارائه شده توسط هکر نیوز را برای شما تهیه کرده ایم:

فوریه 2023: هوش مصنوعی متا، ساخت LLaMA را اعلام کرد.
2 مارس 2023: شخصی ناشناس مدل های LLaMA را از طریق BitTorrent افشا کرد.
10 مارس 2023: گئورگی گرگانوف مدل cpp را ایجاد می کند که می تواند روی M1 Mac اجرا شود.
11 مارس 2023: Artem Andreenko LLaMA 7B (به آرامی) را روی دستگاه Raspberry Pi با رم 4 گیگابایتی اجرا می‌کند.
12 مارس 2023: LLaMA 7B در NPX، یک ابزار اجرای js ساخت.
13 مارس 2023: شخصی cpp را روی تلفن Pixel 6 اجرا کرد که بسیار کند عمل کرد.
13 مارس 2023: استنفورد Alpaca 7B را منتشر کرد که یک نسخه تنظیم‌شده با دستورالعمل LLaMA 7B که همانند «text-davinci-003» OpenAI عمل می‌کند، اما روی سخت‌افزار بسیار ضعیف‌تر اجرا می‌شود.

بعد از به دست آوردن اطلاعاتی در مورد LLaMA، ما دستورالعمل‌های ویلیسون را دنبال کردیم و نسخه 7B را بر روی M1 MacBook Air اجرا کردیم.

تصویری از LLaMA 7B در حال اجرادر مک بوک ایر دارای llama.cpp.

همچنان این سوال وجود دارد که در چه میزانی کمیت بر کیفیت خروجی تأثیر می‌گذارد. در آزمایش‌های ما، استفاده از نسخه کاهش یافته LLaMA 7B با کوانتیزه‌سازی 4 بیتی برای اجرا بر روی مک‌بوک ایر، تفاوت چشمگیری را نسبت به نسخه اصلی به وجود آورد، اما هنوز هم نتایج مطلوبی که مثلChatGPT انتظار داریم، بدست نیاوردیم. این مسئله ممکن است به دلیل عدم استفاده از تکنیک‌های بهتر برای بهبود کیفیت خروجی باشد.

علاوه بر این، حتما بهینه‌سازی‌ها و تنظیمات دقیق تری در زمان استفاده انجام می‌شوند تا کاربران بهترین عملکرد ممکن را تجربه کنند، حتی اگر LLaMA هنوز با شرایط استفاده نسبتاً محدودکننده در دسترس باشد. با اطلاعاتی که تاکنون فاش شده است،نشان داده شده است که بهبود کیفیت خروجی توسط آموزش اضافی و با یک سری اهداف خاص تأیید شده است و هنوز هم در روزهای اولیه پس از انتشار LLaMA، فرصت‌های بهبود و گسترش وجود دارد.

از زمان نگارش این مقاله، اجرای LLaMA بر روی سیستم عامل Mac هنوز یک تمرین نسبتاً فنی است. شما برای استفاده از این ابزار باید پایتون و Xcode را نصب کنید و با کار بر روی خط فرمان آشنا باشید. ویلیسون دستورالعمل های گام به گام خوبی برای هر کسی که مایل به انجام آن است، دارد. اما این مسئله ممکن است در آینده تغییر کند، زیرا توسعه دهندگان همچنان در حال بهبود این ابزار هستند.

هنوز هیچ کس دقیقاً نمی‌داند چه پیامدهایی برای طبیعت با عرضه این فناوری به وجود می‌آید. در حالی که برخی از مردم نگران تأثیر هوش مصنوعی به عنوان ابزاری برای مزاحمت های اینترنتی و اطلاعات نادرست هستند، ویلیسون با اشاره به این موضوع، می‌گوید: این اختراع قطعاً یک اختراع ماندگار خواهد بود، بنابراین فکر می‌کنم اولویت ما باید یافتن سازنده‌ترین راه‌های ممکن برای استفاده از آن باشد. در حال حاضر، تنها چیزی که می‌توان با اطمینان گفت این است که همه چیز به سرعت تغییر خواهد کرد.