در هفتهی جاری، مایکروسافت ریسرچ اعلام کرد که نسخهی دوم از زبان Orca خود، به نام Orca 2 LLM را منتشر کرده است.
بهگزارش تکناک، مایکروسافت ممکن است با OpenAI و مدلهای زبانی بزرگ GPT آن برای کمک به ایجاد سرویسهای هوش مصنوعی مانند Copilot (همان بینگ چت سابق) همکاری کرده باشد. بااینحال، ردموندیها نیز در حال کار روی مدلهای زبانی خود هستند. در هفتهی جاری، مایکروسافت ریسرچ اعلام کرد که نسخهی دوم از زبان Orca خود، به نام Orca 2 LLM را منتشر کرده است.
در پستی ، مایکروسافت اعلام کرد که Orca 2 بهگونهای طراحی شده است تا مدل زبانی کوچکتری باشد؛ اما همچنان می تواند برای پاسخدادن به پرسشهای پیچیده مانند LLM استفاده شود. Orca 2 در دو اندازهی 7میلیارد و 13میلیارد پارامتر دردسترس است و بخشی از آنها با استفاده از مدل Llama 2 LLM ساخته شدهاند که ابتدای سال جاری با همکاری متا معرفی شد. شرکت این مدل را براساس دادههای مصنوعی سفارشی و با کیفیت چشمگیر بهینهسازی کرده است.
مایکروسافت افزود که این به Orca 2 LLM اجازه میدهد تا مشکلاتی را حل کند که با عملکرد سایر مدلهای زبانی «5 تا 10 برابر بزرگتر» مطابقت دارد. Orca 2 با استفاده از مجموعهدادههای مصنوعی گسترده و بسیار سفارشی آموزش داده شده است.
دادههای آموزشی بهگونهای تولید شدهاند که به Orca 2 شیوههای استدلال مختلفی ازجمله پردازش مرحلهبهمرحله و بازخوانی و تولید، بازخوانی و استدلال و تولید، استخراج و تولید و روشهای پاسخ مستقیم را آموزش دهند؛ درحالیکه به آن آموزش میدهد تا استراتژیهای راهحل مختلف را برای وظایف گوناگون انتخاب کند.
مدلهای Orca 2 با استفاده از مجموعهای از بنچمارکها که موضوعاتی ازقبیل «فهم زبان، استدلال عقلانی، استدلال چندمرحلهای، حل مسئلهی ریاضی و درک مطلب» را پوشش میدهند، درمقابل مدلهای زبانی بزرگتری مانند Llama 2 و WizardLM مقایسه شدند. در پست وبلاگ مایکروسافت آمده است:
نتایج اولیه ما نشان میدهد که عملکرد Orca 2 بهطرز چشمگیری از مدلهایی با اندازهی مشابه بهتر است. همچنین، این مدل سطوح عملکردی مشابه یا بهتر از مدلهای حداقل ۱۰ برابر بزرگتر میرسد و ظرفیتهای تجهیز مدلهای کوچکتر با قابلیتهای استدلال بهتر را نشان میدهد.
اگرچه مایکروسافت اعتراف کرده است که Orca 2 محدودیتهای خود را دارد، آزمایشهای انجامشده تاکنون ظرفیتهای پیشرفتهای آینده را نشان میدهد. مایکروسافت قصد دارد Orca 2 LLM را بهعنوان پروژهای منبعباز منتشر کند تا دیگران هم بتوانند روی آن کار کنند.
