مدل Seedance 2.0؛ جهش بزرگ در تولید ویدیو با هوش مصنوعی + ویدیو

شرکت ByteDance مدل هوش مصنوعی Seedance 2.0 را با قابلیت‌های پیشرفته تولید ویدیو برای گروه کوچکی از کاربران ارائه کرده است.

به گزارش سرویس فناوری تک‌ناک، این مدل یکی از پیشرفته‌ترین تولیدکننده‌های ویدیوی مبتنی بر هوش مصنوعی به حساب می‌آید و نسخه جدید توانایی‌ها و دقت آن را به سطحی فراتر ارتقا داده است. این مدل چندحالتی تولید ویدیو قادر است هم‌زمان چهار نوع ورودی شامل تصاویر، ویدیوها، صدا و متن را پردازش کند. کاربران می‌توانند ترکیبی از حداکثر 9 تصویر، 3 ویدیو و 3 فایل صوتی (تا سقف دوازده فایل) ایجاد کنند. ویدیوهای تولیدشده بین ۴ تا ۱۵ ثانیه طول دارند و به‌ صورت خودکار با افکت صوتی یا موسیقی همراه می‌شوند.

حتما بخوانید: تشخیص بالینی هوش مصنوعی در کشورهای جهان سومی از پزشکان پیشی می گیرد

ویدیوهای دمو در وب‌سایت ByteDance منتشر شده‌اند و به احتمال زیاد از میان تعداد زیادی کلیپ تولیدشده انتخاب شده‌اند. هنوز مشخص نیست که این مدل در شرایط واقعی به چه میزان می‌تواند این سطح کیفیت را حفظ کند، هزینه تولید چقدر است و فرایند تولید چه مدت طول می‌کشد. بنابراین آنچه مشاهده می‌کنیم به احتمال زیاد بهترین حالت ممکن است و اگرچه این قابلیت‌ها روی کاغذ چشمگیر هستند، اما ورود آنها به جریان کاری حرفه‌ای با چالش‌هایی مانند حفظ ثبات کیفیت مواجه است. با وجود این، کیفیت ارائه‌شده تحسین‌برانگیز است.

نمونه ویدیوهای مدل Seedance 2.0

پرامپت دوربین، مردی را دنبال می‌کند که لباس سیاه پوشیده است و با سرعت می‌گریزد، در حالی که جمعیت بسیاری در حال تعقیب او هستند. نما به نمایی جانبی از تعقیب تغییر می‌کند و مرد یک دکه میوه کنار جاده را واژگون می‌کند، دوباره به پا می‌ایستد و به دویدن ادامه می‌دهد. صدای فریادهای هیجان‌زده جمعیت در پس‌زمینه، فضا را پر کرده است.

برای مطالعه بیشتر: مراکز داده هوش مصنوعی فضایی؛ وعده‌ها، واقعیت‌ها و چالش‌های پیش‌رو

پرامپت: دختری با ظرافت لباس‌ها را روی طناب آویزان می‌کند و پس از پایان، تکه لباس بعدی را از سطل بیرون می‌آورد و با حرکتی قوی و پرانرژی آن را تکان می‌دهد.

پرامپت: چهره شخصیت در تصویر نشانی از گناه دارد، چشم‌های او به چپ و راست می‌لغزد و سپس از قاب تصویر خم می‌شود. او به‌ سرعت دست خود را بیرون می‌آورد، یک قوطی کوکاکولا برمی‌دارد و یک جرعه می‌نوشد، پس از آن چهره‌ای رضایتمند از خود نشان می‌دهد. هم‌زمان صدای قدم‌ها به گوش می‌رسد و شخصیت با عجله نوشابه را سر جای خود برمی‌گرداند. یک کابوی غربی وارد صحنه می‌شود، نوشابه را از فنجان برمی‌دارد و آرام از صحنه خارج می‌شود. در لحظه پایانی، دوربین به جلو حرکت می‌کند، پس‌زمینه به تدریج تاریک می‌شود و تنها یک نورافکن از بالا، قوطی کوکا را روشن می‌کند. در پایین صفحه، زیرنویسی هنرمندانه با صدای راوی ظاهر می‌شود: «حتما تجربه‌اش کنید!»

رقابت سنگین در بازار ویدیوهای هوش مصنوعی

شرکت ByteDance اعلام کرده که ویژگی برجسته مدل هوش مصنوعی Seedance 2.0 در تولید ویدیو، قابلیت استفاده از ویدیوهای مرجع است؛ این مدل قادر است حرکات دوربین، حرکات بازیگران و افکت‌های ویژه را از ویدیوهای بارگذاری‌شده استخراج کند، شخصیت‌ها را جایگزین نماید و کلیپ‌های موجود را به‌ صورت یکپارچه گسترش دهد. کارهای پیچیده ویرایش ویدیو مانند افزودن یا جایگزینی شخصیت‌ها نیز به راحتی انجام می‌شود. کاربران با فرمان‌های متنی ساده، مانند «image1@ را به‌ عنوان تصویر اول صحنه در نظر بگیر. دید اول‌شخص. حرکت دوربین از Video1@. صحنه بالا بر اساس Frame2@، صحنه سمت چپ Frame3@، صحنه سمت راست Frame4@»، ویدیو می‌سازند.

بیشتر بخوانید: هوش مصنوعی مهندسی نرم‌افزار را منسوخ می‌ کند

به دلایل رعایت قوانین، چهره‌های واقعی انسان در ویدیوهای بارگذاری‌شده فعلا مسدود هستند و Seedance 2.0 تنها به‌ صورت نسخه بتا در وب‌سایت رسمی Jimeng به آدرس jimeng.jianying.com در دسترس است. این رونمایی تنها چند روز پس از معرفی Kling 3.0 توسط رقیب اصلی، یعنی Kuaishou انجام شد، که آن نیز از ورودی و خروجی چندحالتی پشتیبانی می‌کند. رقابت تولید ویدیو با هوش مصنوعی در بازار سهام چین نیز شدت گرفته است؛ طبق گزارش South China Morning Post، معرفی این مدل‌های قدرتمند باعث افزایش ۲۰ درصدی قیمت سهام شرکت‌های فعال در حوزه رسانه و AI شد.