متا ابزار جدیدی به نام Movie Gen را معرفی کرده است که به کاربران اجازه می‌دهد تا ویدئوهای بسیار باکیفیت و واقع‌گرایانه تولید کند.
به‌گزارش تکناک، این ابزار با بهره‌گیری از تکنیک‌های یادگیری ماشین، ویدئوهای واقع‌گرایانه‌ی باکیفیت را براساس ورودی‌های متنی می‌توانند تولید کنند. ابزار MovieGen شامل دو مدل هوش مصنوعی میشود: یکی MovieGen Video و دیگری MovieGen Audio.
هدف اصلی متا از طراحی Movie Gen، دموکراتیزه کردن ابزارهای خلاقیت است. این شرکت بیان کرده است که فارغ از اینکه کاربر یک فیلم‌ساز مشتاق یا یک خالق محتوای ساده باشد، همه باید به ابزارهایی دسترسی داشته باشند که خلاقیت آنها را بهبود بخشند.
فهرست مطالب
چگونگی توسعه Movie Gen
بر اساس تحقیقات اخیر متا، Movie Gen قادر است به‌سادگی و تنها با ورودی‌های متنی، ویدئوها و صداهای سفارشی ایجاد کند. آزمایش‌های اولیه نشان داده است که این ابزار از مدل‌های مشابه موجود در بازار عملکرد بهتری دارد.
متا از طریق سری پروژه‌های Make-A-Scene، کاربران را قادر ساخت تا تصاویر، صداها، ویدئوها و انیمیشن‌های سه‌بعدی تولید کنند. با توسعه مدل‌های انتشار، این شرکت به مدل‌های پیشرفته‌تری مانند Llama Image رسید که توانایی ایجاد تصاویر و ویدئوهای با کیفیت بالاتر را فراهم می‌کرد.
Movie Gen مرحله سوم این مسیر پیشرفت است که چندین حالت مولتی‌مدیایی را با یکدیگر ترکیب کرده و به کاربران کنترل بیشتری در تولید محتوای خود می‌دهد. هرچند متا تأکید کرده است که هوش مصنوعی مولد، جایگزینی برای هنرمندان و انیماتورها نخواهد بود، اما هدف Movie Gen این است که ابزارهای خلاقانه بیشتری را در دسترس کاربران قرار دهد تا ویدئوها و صداهای با وضوح بالا تولید کنند.
ویژگی‌های کلیدی Movie Gen
Movie Gen چهار قابلیت اصلی را در اختیار کاربران قرار می‌دهد:
- تولید ویدئو: این ابزار با استفاده از یک مدل ترانسفورمر با 30 میلیارد پارامتر، ویدئوهایی تا 16 ثانیه با نرخ 16 فریم در ثانیه تولید می‌کند. Movie Gen از تکنیک‌های متن به تصویر و متن به ویدئو بهره می‌گیرد و می‌تواند با دقت بالا حرکات اشیا، تعاملات بین سوژه‌ها و حرکات دوربین را مدیریت کند.
- تولید ویدئوی شخصی‌سازی شده: کاربران می‌توانند با استفاده از تصاویر خود و درخواست‌های متنی، ویدئوهای شخصی‌سازی شده تولید کنند. به گفته متا، این قابلیت در حفظ هویت انسانی و حرکات بسیار دقیق عمل می‌کند.
- ویرایش دقیق ویدئو: Movie Gen امکان ویرایش ویدئو با دقت بالا را فراهم می‌کند. این ویرایش‌ها می‌توانند به صورت محلی (مانند اضافه یا حذف عناصر در صحنه) یا به‌صورت جهانی (مانند تغییر پس‌زمینه یا سبک کلی) انجام شوند، بدون اینکه به محتوای اصلی ویدئو آسیب برسانند.
- تولید صدا: مدل صوتی Movie Gen با 13 میلیارد پارامتر آموزش دیده است و توانایی تولید صداهایی تا 45 ثانیه، شامل افکت‌های صوتی، موسیقی پس‌زمینه و صداهای محیطی را دارد. تمام این صداها با ویدئو همگام‌سازی شده‌اند و کاربران می‌توانند برای ویدئوهای طولانی‌تر از قابلیت تمدید صدا استفاده کنند.
این مدل‌ها صرفاً برای ساخت ویدئوهای کاملاً جدید طراحی نشده‌اند. شما می‌توانید با استفاده از دستورهای متنی ساده، ویدئوهای موجود را ویرایش کنید. Movie Gen به شما اجازه می‌دهد تا علاوه‌بر تغییرات کلی مثل تغییر پس‌زمینه یا سبک، ویرایش‌های جزئی‌تری مانند اضافه و حذف یا جایگزین کردن عناصر را انجام دهید. برای مثال، فرض کنید ویدئویی دارید که شخصی در آن توپی را پرتاب می‌کند. با دستوری ساده، می‌توانید ویدئو را طوری تغییر دهید که شخص هندوانه پرتاب کند؛ در‌حالی‌که بقیه‌ی ویدئو بدون تغییر باقی می‌ماند.
مدل‌های Movie Gen به کاربران امکان می‌دهند تا ویدئوهای سفارشی‌سازی‌شده‌ای تولید کنند. با ارائه‌ی تصویری از فرد مدنظر و دستور متنی، این مدل‌ها می‌توانند ویدئوهایی شخصی‌سازی‌شده ایجاد کنند که هم هویت بصری فرد را حفظ و هم حرکات طبیعی او را شبیه‌سازی کنند. متا ادعا می‌کند که این مدل‌ها در حفظ ویژگی‌های شخصیتی و حرکات طبیعی در ویدئوهای تولید‌شده، عملکردی بسیار پیشرفته دارند.
متا مدعی است که این مدل‌ها ویدئوهایی با‌کیفیت‌تر از سایر مدل‌های موجود در بازار، از‌جمله سورا OpenAI و Gen-3 شرکت Runway می‌توانند تولید کنند. در‌حال‌حاضر، متا در حال همکاری با متخصصان خلاق برای ارتقای بیشتر این مدل پیش از انتشار عمومی آن است.
دستاوردها و نوآوری‌های متا
مدل‌های بنیادی متا نوآوری‌های فنی در زمینه معماری، روش‌های آموزشی و پروتکل‌های ارزیابی به ارمغان آورده‌اند. در آزمایش‌های انسانی، Movie Gen به‌طور مداوم نسبت به ابزارهای موجود در صنعت ترجیح داده شده است. متا یک مقاله تحقیقاتی 92 صفحه‌ای منتشر کرده که به بررسی جزئیات فنی این ابزار می‌پردازد.با این حال، متا اذعان دارد که Movie Gen هنوز محدودیت‌هایی دارد، از جمله زمان‌های طولانی تولید و نیاز به بهینه‌سازی بیشتر. این شرکت به‌طور فعال در حال کار بر روی بهبود این موارد است.
آینده Movie Gen
متا برنامه دارد با فیلم‌سازان و خالقان محتوا همکاری کند تا Movie Gen را بر اساس بازخوردهای کاربران بهبود دهد. این شرکت امیدوار است که در آینده کاربران بتوانند ویدئوهای شخصی‌سازی شده تولید کرده، محتوای خود را در پلتفرم‌هایی مانند Reels به اشتراک بگذارند یا انیمیشن‌های سفارشی برای اپلیکیشن‌هایی مانند WhatsApp ایجاد کنند.
در حال حاضر، Chris Cox مدیر ارشد محصولات متا اعلام کرده است که Movie Gen به دلیل هزینه‌های بالا و زمان‌های طولانی پردازش، هنوز برای انتشار عمومی آماده نیست، هرچند نتایج اولیه امیدوارکننده هستند. همچنین Mark Zuckerberg، مدیرعامل متا، اعلام کرده که این ابزار در سال آینده به Instagram اضافه خواهد شد و یک ویدئوی تولید شده توسط این ابزار را به نمایش گذاشته است.
