دیپ مایند گوگل از یک روش جدید یادگیری ماشین به نام FunSearch رونمایی کرده است. این روش نوین از مدل‌های زبانی پیشرفته (LLMs) برای کشف راه‌حل‌های تازه در حوزه‌های ریاضیات و علوم کامپیوتر بهره می‌برد.
به گزارش تکناک براساس مقاله‌ای که در مجله علمی Nature منتشر شده است، FunSearch یک استراتژی تکاملی است که ایده‌های خلاقانه با امتیاز بالا را شناسایی، ترویج و توسعه می‌دهد. این ایده‌ها به صورت برنامه‌های کامپیوتری نمایش داده می‌شوند و به طور خودکار اجرا و ارزیابی می‌شوند.
در این سیستم، برخی از برنامه‌ها از مجموعه فعلی برنامه‌ها انتخاب شده و به یک LLM تغذیه می‌شوند. LLM به شکل خلاقانه بر روی این برنامه‌ها کار می‌کند و برنامه‌های جدیدی تولید می‌کند که مجدداً به صورت خودکار مورد ارزیابی قرار می‌گیرند. بهترین برنامه‌های حاصله دوباره به مجموعه موجود اضافه شده و یک چرخه تکاملی و بهبود مداوم را ایجاد می‌کنند. FunSearch از PaLM 2 متعلق به گوگل بهره می‌برد، اما با سایر LLMهای آموزش دیده بر روی کد نیز سازگار است.
گوگل اعلام کرده که «FunSearch» قادر به محاسبه «مسائل پیچیده» است و می‌تواند مجموعه‌ای از «مسائل مرتبط با ریاضی و علوم کامپیوتر» را حل کند. این مدل به وسیله یک سیستم «ارزیابی» برای هوش مصنوعی آموزش دیده است. هوش مصنوعی «روش‌های خلاقانه حل مسئله» و «روش‌های ارزیابی» را به عنوان خروجی ارائه می‌دهد. «پردازنده» نقش قضاوت در مورد روش حل مسئله‌ای را که توسط مدل ارائه شده است، بر عهده دارد. پس از چندین دور تکرار، مدل هوش مصنوعی با قابلیت‌های ریاضی پیشرفته‌تر توسعه می‌یابد.
برای تست، Google DeepMind از مدل PaLM 2 استفاده کرده است. تیم تحقیقاتی یک «مخزن کد» اختصاصی ایجاد کرده، سوالات را به صورت کد وارد کرده و فرآیند ارزیابی را تنظیم کرده‌اند. سپس، مدل در هر دور تکرار به طور خودکار سوالات را از مخزن کد انتخاب کرده، «راه‌حل‌های خلاقانه جدید» ارائه می‌دهد و آنها را برای ارزیابی می‌فرستد. «بهترین راه‌حل» دوباره به مخزن کد افزوده می‌شود و یک دور دیگر آغاز می‌شود.
فهرست مطالب
FUNSEARCH چگونه کار می کند؟
FunSearch به کمک یک فرآیند تکراری کار می‌کند. در ابتدا، کاربر مسئله‌ای را به شکل کد تعریف می‌کند که شامل روشی برای ارزیابی برنامه‌ها و یک برنامه اولیه است که برای تولید یک مجموعه از برنامه‌ها به کار می‌رود. در هر دور از فرآیند تکرار، سیستم برخی برنامه‌ها را از مجموعه فعلی انتخاب می‌کند و آنها را به یک مدل زبان بزرگ (LLM) می‌فرستد. این LLM به طور خلاقانه روی این برنامه‌ها کار می‌کند و برنامه‌های جدیدی ایجاد می‌کند که به صورت خودکار ارزیابی می‌شوند. برترین برنامه‌ها دوباره به مجموعه اضافه می‌شوند و یک چرخه خودبهبودی را ایجاد می‌کنند. FunSearch از مدل PaLM 2 گوگل استفاده می‌کند اما با سایر مدل‌های زبانی که بر روی کد آموزش دیده‌اند نیز سازگار است.
کشف دانش جدید ریاضیات
کشف دانش جدید ریاضی و الگوریتم‌ها در حوزه‌های مختلف اغلب فراتر از توانایی‌های بسیاری از سیستم‌های پیشرفته هوش مصنوعی است. FunSearch با رویارویی با چنین مشکلات چالش‌برانگیزی، چندین عنصر کلیدی را به کار می‌گیرد. این سیستم برنامه‌هایی تولید می‌کند که نشان می‌دهند چگونه به راه‌حل‌ها رسیده‌اند، رویکردی که مشابه با روش حل مسئله دانشمندان است، که کشف‌ها یا پدیده‌ها را از طریق فرایند تولید آنها توضیح می‌دهند.
FunSearch به دنبال یافتن راه‌حل‌هایی است که توسط برنامه‌های فشرده نمایندگی می‌شوند؛ راه‌حل‌هایی که با برنامه‌های کوتاه می‌توانند اشیاء بزرگی را توصیف کنند. این امر به FunSearch امکان می‌دهد تا مقیاس‌پذیر باشد و مسائل پیچیده‌ای را حل کند که فراتر از توانایی‌های سیستم‌های هوش مصنوعی معمولی است.
در یک اطلاعیه مطبوعاتی، پژوهشگران روشی برای محاسبه توسط مدل در «مسائل سطح بالا» (که یک چالش اصلی در ریاضیات است و شامل مفاهیمی مانند شمارش و جایگشت‌ها می‌شود) معرفی کرده‌اند. این نشان می‌دهد که FunSearch می‌تواند در حل مسائل پیچیده‌ی ریاضی که شامل محاسبات گسترده و تجزیه و تحلیل‌های دقیق است، کارایی بالایی داشته باشد.
FUNSEARCH و مسئله Bin Packing
تیم تحقیقاتی FunSearch برای آزمایش تنوع‌پذیری خود، یکی دیگر از مسائل دشوار ریاضی، یعنی مسئله Bin Packing یا چیدمان در جعبه را به عنوان هدف قرار داد. هدف این مسئله پیدا کردن کمترین تعداد جعبه‌ها (Bins) برای قرار دادن مجموعه‌ای از اشیاء با اندازه‌های مختلف است، به طوری که حجم هیچ یک از جعبه‌ها از یک حد معین تجاوز نکند.
پژوهشگران بخش‌هایی از برنامه که نشان می‌دهد چگونه مسئله را حل کنند، حذف کردند، و اینجا بود که FunSearch وارد عمل شد. این سیستم کد ناقص را به Codey می‌دهد تا خلأ‌ها را پر کند، در واقع پیشنهاد کدی که مشکل را حل خواهد کرد. سپس یک الگوریتم دیگر پیشنهادهای Codey را بررسی و امتیاز می‌دهد. بهترین پیشنهادها، حتی اگر کاملاً صحیح نباشند، ذخیره می‌شوند و دوباره به Codey داده می‌شوند تا دوباره سعی کند برنامه را تکمیل کند.
FunSearch یک راه‌حل «درست در زمان» برای مسئله بسته‌بندی بن ارائه می‌دهد که یک برنامه تولید می‌کند که «بر اساس حجم موجود مورد نیاز به طور خودکار تنظیم می‌شود». پژوهشگران بیان کردند که در مقایسه با دیگر روش‌های آموزش هوش مصنوعی که از شبکه‌های عصبی برای یادگیری استفاده می‌کنند، کد خروجی مدل آموزش داده شده توسط روش آموزش FunSearch راحت‌تر بررسی و پیاده سازی می‌شود، که این امکان استفاده از آن در محیط‌های صنعتی واقعی را آسان‌تر می‌کند.
FUNSEARCH و مشکلات الهام گرفته از مجموعه
FunSearch، در حل مسائل الهام‌گرفته از مجموعه‌ها در ترکیبات پیشرفت کرده است. این حوزه از ریاضیات به مطالعه چگونگی شمارش ترتیب‌های ممکن مجموعه‌ها می‌پردازد. FunSearch به طور خودکار درخواست‌هایی برای یک مدل زبان بزرگ (LLM) که ویژه آموزش دیده است ایجاد می‌کند، و از آن می‌خواهد برنامه‌های کوتاه کامپیوتری بنویسد که قادر به تولید راه‌حل‌هایی برای سناریوهای خاص هستند. سپس، سیستم به سرعت بررسی می‌کند که آیا این راه‌حل‌ها بهتر از راه‌حل‌های موجود هستند یا نه. در صورت عدم موفقیت، بازخوردی به LLM ارائه می‌دهد تا در دور بعدی بهبود یابد.
برناردینو، پژوهشگر علوم کامپیوتر در DeepMind می‌گوید: «روشی که ما از LLM استفاده می‌کنیم، به عنوان یک موتور خلاقیت عمل می‌کند». او اشاره می‌کند که تمام برنامه‌های تولید شده توسط LLM مفید نیستند و برخی از آنها حتی قابل اجرا نیستند.
آنچه واقعاً هیجان‌انگیز است، تنها نتایج خاصی که FunSearch به دست آورده نیست، بلکه چشم‌اندازهایی که این سیستم برای آینده تعامل بین انسان و ماشین در زمینه ریاضیات ایجاد می‌کند. FunSearch به جای صرفاً تولید یک راه‌حل مشخص، یک برنامه می‌سازد که خود به دنبال یافتن راه‌حل می‌گردد. این برنامه می‌تواند بینش عمیق‌تری نسبت به فرایند حل مسئله ارائه دهد که ممکن است در مقایسه با یک راه‌حل معین، به حل مسائل مرتبط دیگر کمک کند.
این پیشرفت نشان می‌دهد که فناوری‌هایی که پشت ChatGPT و برنامه‌های مشابه قرار دارند، می‌توانند به کشف‌های علمی کمک کنند. پژوهشگران در حوزه هوش مصنوعی ادعا می‌کنند که اولین کشف علمی جهان را با استفاده از این نوع فناوری انجام داده‌اند. این نوع پیشرفت‌ها نشان‌دهنده گام‌های مهم در توسعه هوش مصنوعی و کاربردهای آن در حل مسائل علمی پیچیده است و احتمالاً تأثیر چشمگیری بر تعاملات انسان و ماشین در زمینه‌های تحقیقاتی خواهد گذاشت.
نتیجه گیری
FunSearch یک روش نوآورانه است که از مدل‌های زبانی بزرگ (LLMs) برای جستجو و پیدا کردن راه‌حل‌های نوین در ریاضیات و علوم کامپیوتر استفاده می‌کند. جزئیات این روش در یک مقاله علمی منتشر شده در مجله Nature، که از معتبرترین مجلات علمی است، توصیف شده‌اند. FunSearch یک روش تکاملی است که ایده‌های با امتیاز بالا را در برنامه‌های کامپیوتری ترویج و توسعه می‌دهد. فرآیند اجرا و ارزیابی این برنامه‌ها به صورت خودکار انجام می‌شود.
سیستم برخی از برنامه‌ها را از مجموعه فعلی انتخاب کرده و آنها را به یک LLM تغذیه می‌کند. FunSearch از مدل PaLM 2 گوگل استفاده می‌کند اما با دیگر LLMهایی که از همان کد برای آموزش استفاده می‌کنند نیز سازگار است. این سیستم قابلیت بهبود الگوریتم‌های تولیدی را دارد، که می‌تواند در زمینه‌هایی مانند بهینه‌سازی لجستیک و کاهش مصرف انرژی کاربردی باشد. این نوع تکنولوژی نه تنها در توسعه علمی و تحقیقاتی پیشرفت‌هایی ایجاد می‌کند، بلکه می‌تواند تأثیرات مثبتی بر اقتصاد و محیط زیست داشته باشد.
