تولید صحنه های سه بعدی پیچیده با کمک هوش مصنوعی

در پیشرفتی شگفت انگیز هوش مصنوعی اکنون می تواند انعکاس چشم شما را به صحنه های سه بعدی پیچیده تبدیل کند.

به گزارش تکناک، بینایی یا دیدن فرآیندی است که طی آن نور وارد چشم می شود و توسط عدسی روی شبکیه متمرکز می شود، جایی که سلول های تخصصی به نام گیرنده های نوری نور را به سیگنال های الکتریکی تبدیل می کنند.

این سیگنال‌ها سپس از طریق عصب بینایی به مغز منتقل می‌شوند، که آنها را به عنوان تصاویر بصری تفسیر می‌کند و به ما امکان می‌دهد دنیای اطراف خود را درک کنیم.

با این حال، مقداری از نور وارد شده به چشم توسط زلالیه منعکس می شود، یک لایه بازتابنده نازک از مایع که قرنیه را می پوشاند. اکنون دانشمندان راهی برای ارائه تصاویر سه بعدی (سه بعدی) از این انعکاس های چشمی یافته اند.

در یک مطالعه جدید که توسط دانشمندان دانشگاه مریلند انجام شده است، با استفاده از الگوریتم رندر بصری هوش مصنوعی (AI) به نام میدان تابش عصبی یا NeRF ارائه این بازتاب‌های سه بعدی توصیف می شود.

تولید داده برای NeRF

NeRF یک شبکه عصبی است که نمایش های سه بعدی صحنه های پیچیده را تولید می کند. این سیستم چندین عکس دو بعدی گرفته شده از زوایای مختلف را در نظر می گیرد و یک نمای سه بعدی پیوسته با عمق و جزئیات بالا را با تصاویر ترکیب می کند.

تیم محققان با گرفتن چندین عکس با استفاده از یک دوربین با وضوح بالا که بر روی یک فرد در حال حرکت متمرکز شده بود، شروع کردند. با بررسی انعکاس در چشم فرد، آنها می توانستند تصویر آینه ای از میدان دید را مشاهده کنند که به آنها امکان می داد اشیاء اطراف را شناسایی کنند.

این تصاویر همچنین جزئیاتی از چشم، مانند بافت عنبیه را ثبت کردند. برای حذف این جزئیات، تیم از روش تجزیه بافت استفاده کرد. آنها یک نقشه بافت دوبعدی را آموزش دادند که بافت عنبیه را در حافظه داشت و سپس آن را از تصاویر گرفته شده حذف کرد.

با استفاده از هندسه قرنیه که تقریباً در همه افراد یکسان است، محاسبات برای نظارت دقیق به جایی که چشمان آنها نگاه می کند انجام شد. علاوه بر این، این اجازه می دهد تا زاویه دوربین مشخص شود و سپس مختصات تصویر بر روی سطح منحنی قرنیه ترسیم شود. این اطلاعات مسیر دید مورد نیاز برای NeRF AI را که برای بازسازی یک رندر سه بعدی از محیط لازم است فراهم می کند.

نورهایی خارج از فریم در اطرف فرد قرار داده می شد تا نوری را به اشیاء جلویی بتاباند. هنگامی که فرد در داخل دید دوربین حرکت می کرد، چندین عکس گرفته شد.

استفاده از NerF AI برای ارائه تصاویر سه بعدی

آنها از چشم انسان برای ارزیابی هوش مصنوعی NeRF استفاده کردند که منجر به ارائه وضوح معقول تصویر با رندر سه بعدی نقشه برداری عمق شد. با این حال، آزمایش‌های ترکیبی با استفاده از چشم مصنوعی قبل از یک تصویر دیجیتال، تصویر واضح‌تری با وضوح بهبود یافته در نقشه‌برداری سه‌بعدی ایجاد کرد.

برای آزمایش سوم، تیم روش خود را بر روی تصاویر بازتاب چشم از دو نماهنگ مایلی سایرس و لیدی گاگا برای بازسازی آنچه که در طول فیلمبرداری مشاهده می کردند، به کار بردند.

رندر NeRF یک نور LED را در چشم مایلی سایرس نشان می‌دهد که با مفهوم اشک ریختن و روشن شدن توسط یک نور درخشان ویدیو همخوانی دارد. از طرفی چشم لیدی گاگا تصویر نامشخصی را نشان می داد. تیم آن را به عنوان دوربین روی سه پایه تعبیر کرد.

در موزیک ویدیوها، تمرکز اصلی بر روی نوازنده با ترکیب محیط اطراف است. تنظیمات نور در رویدادهای روزمره، مانند مکالمات زوم یا سلفی، ممکن است برای به دست آوردن اطلاعات در مورد محیط اطراف مناسب تر باشند.

در اینجا می توانید اطلاعات بیشتری در مورد روش و تصاویر رندر شده آنها مشاهده کنید.