دیپ مایند گوگل از FunSearch رونمایی کرد

دیپ مایند گوگل از یک روش جدید یادگیری ماشین به نام FunSearch رونمایی کرده است. این روش نوین از مدل‌های زبانی پیشرفته (LLMs) برای کشف راه‌حل‌های تازه در حوزه‌های ریاضیات و علوم کامپیوتر بهره می‌برد.

به گزارش تک‌ناک براساس مقاله‌ای که در مجله علمی Nature منتشر شده است، FunSearch یک استراتژی تکاملی است که ایده‌های خلاقانه با امتیاز بالا را شناسایی، ترویج و توسعه می‌دهد. این ایده‌ها به صورت برنامه‌های کامپیوتری نمایش داده می‌شوند و به طور خودکار اجرا و ارزیابی می‌شوند.

در این سیستم، برخی از برنامه‌ها از مجموعه فعلی برنامه‌ها انتخاب شده و به یک LLM تغذیه می‌شوند. LLM به شکل خلاقانه بر روی این برنامه‌ها کار می‌کند و برنامه‌های جدیدی تولید می‌کند که مجدداً به صورت خودکار مورد ارزیابی قرار می‌گیرند. بهترین برنامه‌های حاصله دوباره به مجموعه موجود اضافه شده و یک چرخه تکاملی و بهبود مداوم را ایجاد می‌کنند. FunSearch از PaLM 2 متعلق به گوگل بهره می‌برد، اما با سایر LLM‌های آموزش دیده بر روی کد نیز سازگار است.

گوگل اعلام کرده که «FunSearch» قادر به محاسبه «مسائل پیچیده» است و می‌تواند مجموعه‌ای از «مسائل مرتبط با ریاضی و علوم کامپیوتر» را حل کند. این مدل به وسیله یک سیستم «ارزیابی» برای هوش مصنوعی آموزش دیده است. هوش مصنوعی «روش‌های خلاقانه حل مسئله» و «روش‌های ارزیابی» را به عنوان خروجی ارائه می‌دهد. «پردازنده» نقش قضاوت در مورد روش حل مسئله‌ای را که توسط مدل ارائه شده است، بر عهده دارد. پس از چندین دور تکرار، مدل هوش مصنوعی با قابلیت‌های ریاضی پیشرفته‌تر توسعه می‌یابد.

برای تست، Google DeepMind از مدل PaLM 2 استفاده کرده است. تیم تحقیقاتی یک «مخزن کد» اختصاصی ایجاد کرده، سوالات را به صورت کد وارد کرده و فرآیند ارزیابی را تنظیم کرده‌اند. سپس، مدل در هر دور تکرار به طور خودکار سوالات را از مخزن کد انتخاب کرده، «راه‌حل‌های خلاقانه جدید» ارائه می‌دهد و آن‌ها را برای ارزیابی می‌فرستد. «بهترین راه‌حل» دوباره به مخزن کد افزوده می‌شود و یک دور دیگر آغاز می‌شود.

FUNSEARCH چگونه کار می کند؟

FunSearch به کمک یک فرآیند تکراری کار می‌کند. در ابتدا، کاربر مسئله‌ای را به شکل کد تعریف می‌کند که شامل روشی برای ارزیابی برنامه‌ها و یک برنامه اولیه است که برای تولید یک مجموعه از برنامه‌ها به کار می‌رود. در هر دور از فرآیند تکرار، سیستم برخی برنامه‌ها را از مجموعه فعلی انتخاب می‌کند و آن‌ها را به یک مدل زبان بزرگ (LLM) می‌فرستد. این LLM به طور خلاقانه روی این برنامه‌ها کار می‌کند و برنامه‌های جدیدی ایجاد می‌کند که به صورت خودکار ارزیابی می‌شوند. برترین برنامه‌ها دوباره به مجموعه اضافه می‌شوند و یک چرخه خودبهبودی را ایجاد می‌کنند. FunSearch از مدل PaLM 2 گوگل استفاده می‌کند اما با سایر مدل‌های زبانی که بر روی کد آموزش دیده‌اند نیز سازگار است.

کشف دانش جدید ریاضیات

کشف دانش جدید ریاضی و الگوریتم‌ها در حوزه‌های مختلف اغلب فراتر از توانایی‌های بسیاری از سیستم‌های پیشرفته هوش مصنوعی است. FunSearch با رویارویی با چنین مشکلات چالش‌برانگیزی، چندین عنصر کلیدی را به کار می‌گیرد. این سیستم برنامه‌هایی تولید می‌کند که نشان می‌دهند چگونه به راه‌حل‌ها رسیده‌اند، رویکردی که مشابه با روش حل مسئله دانشمندان است، که کشف‌ها یا پدیده‌ها را از طریق فرایند تولید آن‌ها توضیح می‌دهند.

FunSearch به دنبال یافتن راه‌حل‌هایی است که توسط برنامه‌های فشرده نمایندگی می‌شوند؛ راه‌حل‌هایی که با برنامه‌های کوتاه می‌توانند اشیاء بزرگی را توصیف کنند. این امر به FunSearch امکان می‌دهد تا مقیاس‌پذیر باشد و مسائل پیچیده‌ای را حل کند که فراتر از توانایی‌های سیستم‌های هوش مصنوعی معمولی است.

در یک اطلاعیه مطبوعاتی، پژوهشگران روشی برای محاسبه توسط مدل در «مسائل سطح بالا» (که یک چالش اصلی در ریاضیات است و شامل مفاهیمی مانند شمارش و جایگشت‌ها می‌شود) معرفی کرده‌اند. این نشان می‌دهد که FunSearch می‌تواند در حل مسائل پیچیده‌ی ریاضی که شامل محاسبات گسترده و تجزیه و تحلیل‌های دقیق است، کارایی بالایی داشته باشد.

FUNSEARCH و مسئله Bin Packing

تیم تحقیقاتی FunSearch  برای آزمایش تنوع‌پذیری خود، یکی دیگر از مسائل دشوار ریاضی، یعنی مسئله Bin Packing یا چیدمان در جعبه را به عنوان هدف قرار داد. هدف این مسئله پیدا کردن کمترین تعداد جعبه‌ها (Bins) برای قرار دادن مجموعه‌ای از اشیاء با اندازه‌های مختلف است، به طوری که حجم هیچ یک از جعبه‌ها از یک حد معین تجاوز نکند.

پژوهشگران بخش‌هایی از برنامه که نشان می‌دهد چگونه مسئله را حل کنند، حذف کردند، و اینجا بود که FunSearch وارد عمل شد. این سیستم کد ناقص را به Codey می‌دهد تا خلأ‌ها را پر کند، در واقع پیشنهاد کدی که مشکل را حل خواهد کرد. سپس یک الگوریتم دیگر پیشنهادهای Codey را بررسی و امتیاز می‌دهد. بهترین پیشنهادها، حتی اگر کاملاً صحیح نباشند، ذخیره می‌شوند و دوباره به Codey داده می‌شوند تا دوباره سعی کند برنامه را تکمیل کند.

FunSearch یک راه‌حل «درست در زمان» برای مسئله بسته‌بندی بن ارائه می‌دهد که یک برنامه تولید می‌کند که «بر اساس حجم موجود مورد نیاز به طور خودکار تنظیم می‌شود». پژوهشگران بیان کردند که در مقایسه با دیگر روش‌های آموزش هوش مصنوعی که از شبکه‌های عصبی برای یادگیری استفاده می‌کنند، کد خروجی مدل آموزش داده شده توسط روش آموزش FunSearch راحت‌تر بررسی و پیاده سازی می‌شود، که این امکان استفاده از آن در محیط‌های صنعتی واقعی را آسان‌تر می‌کند.