شرکت مایکروسافت با معرفی مدل متنباز TRELLIS.2، امکان تبدیل تصاویر دوبعدی به مدلهای سهبعدی را فراهم کرد.
به گزارش سرویس هوش مصنوعی تکناک، پروژه TRELLIS.2 یکی از دستاوردهای جدید Microsoft Research است که با مشارکت پژوهشگرانی از دانشگاه Tsinghua و USTC توسعه یافته است. این سیستم قادر است تنها با دریافت یک تصویر ورودی، مدلهای سهبعدی کاملی را تولید کند که علاوه بر ساختار هندسی، پارامترهای متریال مبتنی بر فیزیک (PBR) شامل رنگ پایه، خاصیت فلزی، زبری و شفافیت را نیز در بر میگیرد. هدف نهایی این پروژه، ایجاد مسیری است که بتواند اشکال دشوار مانند سازههای نازک، سطوح باز و ساختارهای داخلی را بدون نیاز به پسپردازشهای سنگین بازسازی کند.
از نظر فنی، مدل TRELLIS.2 مایکروسافت بر پایه نمایش سهبعدی جدیدی به نام O-Voxel استوار است که شکل و متریال را به طور همزمان در یک ساختار Voxel پراکنده ذخیره میکند. در بخش هندسی، این فناوری از یک شبکه دوگانه منعطف بهره میبرد که طبق مستندات علمی، توانایی مدیریت هر نوع توپولوژی از جمله سطوح کاملاً بسته یا باز را دارد. این فرایند ویژگیهای متریال را برای هر Voxel فعال ذخیره میکند و در نهایت آنها را به یک مش و بافتهای مربوطه تبدیل میکند.
بر اساس گزارش 3druck.com، این سیستم برای مدیریت بهتر دادهها در مدلهای مولد، از فناوری فشردهسازی Sparse Compression VAE یا SC-VAE بهره میبرد. این فناوری وضوح فضایی را تا ۱۶ برابر کاهش میدهد و یک مدل با بافت کامل در وضوح ۱۰۲۴ را به حدود ۹۶۰۰ توکن نهفته تبدیل میکند. این روش اجازه میدهد تا جزئیات بصری با کمترین افت حفظ شود و پایه و اساسی برای تولید و بازسازی کارآمد فراهم گردد.
فرایند تولید در سه مرحله انجام میشود که شامل تعیین ساختار اولیه، هندسه و سپس اطلاعات متریال است. زمان اجرای این عملیات روی پردازنده گرافیکیH100 انویدیا برای وضوحهای مختلف از ۳ تا ۶۰ ثانیه متغیر است. نویسندگان این مقاله از جمله جیانفنگ شیانگ و سیچنگ شو خاطرنشان کردند که اگرچه ممکن است حفرههای کوچکی در نتایج نهایی ایجاد شود، اما این موارد با ابزارهای رایج اصلاح مش قابل رفع هستند.
