انویدیا با Lyra 2.0 یک عکس را به جهان سه‌بعدی تبدیل می‌کند

انویدیا از هوش مصنوعی متن‌باز Lyra 2.0 رونمایی کرده است که می‌تواند تنها با دریافت یک عکس، محیطی سه‌بعدی و قابل کاوش تولید کند.

به گزارش سرویس هوش مصنوعی تکناک، این فناوری با ترکیب تولید ویدئو و بازسازی سه‌بعدی، امکان حرکت آزادانه دوربین در محیط مجازی را فراهم می‌کند و می‌تواند در آینده برای توسعه بازی‌های ویدئویی، واقعیت مجازی و شبیه‌سازی ربات‌ها کاربرد داشته باشد.

آزمایشگاه هوش فضایی انویدیا (SIL) این فناوری را توسعه داده است. Lyra 2.0 برخلاف ابزارهای معمول تبدیل تصویر به ویدئو، فقط یک دنباله تصویری از پیش تعیین‌شده تولید نمی‌کند. کاربران می‌توانند مسیر حرکت دوربین را کنترل کنند و با جابه‌جایی در محیط، نماهای جدیدی از فضای مجازی ببینند. مدل نیز هنگام حرکت دوربین، بخش‌های تازه محیط را تولید می‌کند و تلاش می‌کند انسجام ساختار آن را حفظ کند.

انویدیا پژوهش مربوط به Lyra 2.0 را در آوریل ۲۰۲۶ منتشر کرد و اکنون پیش از برگزاری رویداد SIGGRAPH Asia 2026، قابلیت‌های این فناوری را بیشتر به نمایش گذاشته است.

مقابله با فراموشی فضایی و انحراف زمانی

یکی از مهم‌ترین ویژگی‌های Lyra 2.0، تلاش برای رفع دو مشکل رایج در سیستم‌های تولید محتوای هوش مصنوعی است. این مشکلات با نام‌های فراموشی فضایی (Spatial Forgetting) و انحراف زمانی (Temporal Drifting) شناخته می‌شوند.

فراموشی فضایی زمانی اتفاق می‌افتد که مدل هوش مصنوعی موقعیت مکان‌هایی را که قبلاً تولید کرده است، به‌درستی به خاطر نمی‌سپارد. در نتیجه، اگر کاربر دوباره به یک بخش از محیط مجازی بازگردد، ممکن است با ساختارها و جزئیاتی متفاوت از نمای قبلی روبه‌رو شود.

انحراف زمانی نیز به انباشته‌شدن تدریجی خطاهای بصری و هندسی در طول تولید طولانی‌مدت اشاره دارد. این مشکل می‌تواند باعث شود شکل محیط به‌مرور تغییر کند و ارتباط میان بخش‌های مختلف آن از بین برود.

مقایسه تصویری کیفیت خروجی رندر شهری با دو فناوری 3DGS (ثبت سه‌بعدی Gaussian Splats) و ویدئوی تولیدشده توسط هوش مصنوعی که خیابان قدیمی و ساختمان‌های اطراف را نشان می‌دهد.

نمای مقایسه‌ای از ابزار Lyra 2.0 که تصویر واقعی یک خانه و ورودی آن را با استفاده از مدل سه‌بعدی Gaussian Splats و مش به محیط شبیه‌سازی‌شده در نرم‌افزار Isaac Sim و ربات چهارپا تبدیل کرده است.

پژوهشگران انویدیا برای کاهش این خطاها، یک سیستم حافظه فضایی طراحی کرده‌اند. این سیستم با استفاده از اطلاعات هندسی سه‌بعدی، فریم‌های قبلی و مرتبط را بازیابی می‌کند تا مدل بتواند موقعیت عناصر محیط را بهتر تشخیص دهد.

Lyra 2.0 همچنین با خروجی‌های ناقص خودش آموزش می‌بیند. این روش به مدل کمک می‌کند خطاهای بصری و هندسی انباشته‌شده را شناسایی و اصلاح کند، به‌جای آنکه در ادامه فرایند تولید آن‌ها را بیشتر افزایش دهد.

تبدیل خروجی هوش مصنوعی به محیط سه‌بعدی

Lyra 2.0 ویدئوهای تولیدشده را به نمایش‌های سه‌بعدی مبتنی بر Gaussian Splats تبدیل می‌کند. این ساختارها امکان بازسازی و رندر محیط از زاویه‌های مختلف را فراهم می‌کنند. خروجی‌های این فناوری همچنین قابلیت تبدیل به مش‌های چندضلعی سه‌بعدی را دارند.

این ویژگی اهمیت زیادی دارد، زیرا محیط تولیدشده دیگر صرفاً یک ویدئوی قابل مشاهده نیست و می‌تواند در نرم‌افزارهای سه‌بعدی و شبیه‌سازی نیز استفاده شود. برای نمونه، کاربران می‌توانند محیط‌های ساخته‌شده با Lyra 2.0 را به نرم‌افزار NVIDIA Isaac Sim منتقل کنند.

انویدیا با نمایش این قابلیت، کاربرد احتمالی فناوری خود را در آموزش ربات‌ها و شبیه‌سازی شرایط واقعی نشان داده است. ربات‌ها می‌توانند در محیط‌های مجازی ساخته‌شده با هوش مصنوعی آموزش ببینند و پیش از فعالیت در دنیای واقعی، موقعیت‌ها و شرایط مختلف را تجربه کنند.

دیاگرام معماری کلی پایپ‌لاین Lyra 2.0 شامل بخش‌های نمای کلی پایپ‌لاین (Pipeline overview)، فریم‌های ویدئویی ورودی و مدل ویدئویی مجهز به حافظه فضایی (Spatial memory) و بلوک‌های DiT.

کاهش ۱۳ برابری زمان تولید ویدئو

انویدیا علاوه‌بر بهبود کیفیت و انسجام محیط‌های تولیدشده، روی افزایش سرعت پردازش نیز کار کرده است. این شرکت یک مدل فشرده‌سازی‌شده توسعه داده که تعداد مراحل حذف نویز را از ۳۵ مرحله به تنها چهار مرحله کاهش می‌دهد.

این تغییر، زمان تولید ویدئو را تقریباً ۱۳ برابر کاهش می‌دهد. طبق مقاله پژوهشی انویدیا، تولید یک بخش ۸۰ فریمی با استفاده از یک پردازنده گرافیکی NVIDIA GB200 حدود ۱۵ ثانیه زمان می‌برد. همین فرایند با مدل کامل تقریباً ۱۹۴ ثانیه طول می‌کشد.

بااین‌حال، این اعداد به معنای تولید بلادرنگ یک جهان سه‌بعدی کامل نیستند. تولید و پردازش محیط‌های مجازی همچنان به توان محاسباتی زیادی نیاز دارد و عملکرد مدل فشرده‌شده نیز نباید با تولید بی‌وقفه و آنی جهان‌های مجازی اشتباه گرفته شود.

Lyra 2.0 همچنین هنوز در تولید محیط‌های پویا محدودیت دارد. این فناوری بیشتر برای صحنه‌های نسبتاً ثابت مناسب است و تولید حرکت‌های پیچیده و جلوگیری از ناهماهنگی‌های بصری همچنان از چالش‌های آن محسوب می‌شوند.

تأثیر احتمالی بر صنعت بازی‌سازی

قابلیت تبدیل یک عکس به محیط سه‌بعدی قابل کاوش می‌تواند در آینده فرایند طراحی محیط‌های بازی را تغییر دهد. پیش‌تر گوگل نیز با معرفی Project Genie از یک سیستم آزمایشی برای تولید جهان‌های مجازی قابل کاوش رونمایی کرده بود.

طبق گزارش Wccftech، رویکرد Lyra 2.0 با پروژه گوگل تفاوت دارد. این فناوری محتوای تولیدشده را به هندسه سه‌بعدی تبدیل می‌کند و امکان استفاده از آن را در نرم‌افزارهای رندر و شبیه‌سازی فراهم می‌سازد. چنین قابلیتی می‌تواند به توسعه‌دهندگان کمک کند محیط‌های اولیه بازی‌ها را سریع‌تر بسازند و برای طراحی مراحل و فضاهای مجازی از تصاویر واقعی الهام بگیرند.

البته هنوز نمی‌توان با ارائه یک عکس، یک بازی ویدئویی کامل و کاربردی تولید کرد. محیط‌های بازی به تعامل‌پذیری، فیزیک، شخصیت‌های متحرک و سیستم‌های پیچیده دیگری نیاز دارند که Lyra 2.0 به‌تنهایی آن‌ها را فراهم نمی‌کند.

انویدیا پیاده‌سازی این فناوری را در گیت‌هاب منتشر کرده است. وزن‌های مدل نیز از طریق پلتفرم Hugging Face در دسترس قرار دارند، اما استفاده از آن‌ها تابع محدودیت‌های مجوز انویدیا برای کاربردهای پژوهشی است.