مدل TalkingMachines از Character.AI با تحلیل دقیق صدا و حرکت، شخصیت‌های هوش مصنوعی را به‌صورت زنده و طبیعی به نمایش می‌گذارد.
به گزارش تکناک، شرکت Character.AI از مدل ویدئویی پیشرفته‌ای به نام TalkingMachines پرده‌برداری کرده است؛ مدلی که می‌تواند تنها با استفاده از تصویر و ورودی صوتی، ویدئوهای زنده و مبتنی‌بر صدا از شخصیت‌های هوش مصنوعی تولید کند. این فناوری جدید گامی مهم به‌سوی برقراری ارتباط تصویری شبیه به فیس‌تایم با شخصیت‌های هوش مصنوعی محسوب می‌شود.
درحال‌حاضر، این قابلیت در مرحله تحقیق‌وتوسعه قرار دارد و هنوز وارد اپلیکیشن Character.AI نشده است. با‌این‌حال، مقاله علمی مربوط به این پروژه همراه با ویدئوهای نمایشی منتشر شده است که نشان می‌دهد این فناوری چه ظرفیت‌های بزرگی برای آینده دارد.
مدل TalkingMachines برپایه فناوری پیشرفته‌ای به نام Diffusion Transformer (DiT) ساخته شده است؛ سیستمی که مانند هنرمند دیجیتال تصاویر دقیق و زنده‌ای را از دل صدا تولید و آنها را در مدت بسیار کوتاهی اصلاح می‌کند تا احساس زنده‌بودن به‌خوبی منتقل شود.
به نقل از نئووین، Character.AI برای دستیابی به عملکرد هم‌زمان این مدل، از چندین شیوه نوآورانه بهره برده است. Flow-Matched Diffusion باعث طبیعی‌تر‌شدن حرکات شخصیت‌ها و حرکاتی ازقبیل حالات چهره و ژست‌های پویا را شامل می‌شود.
همچنین، Audio-Driven Cross Attention کمک می‌کند تا مدل نه‌تنها کلمات، بلکه لحن و مکث و ریتم گفتار را تحلیل کند و به‌صورت دقیق در حرکات لب و سر و چشم‌ها بازتاب دهد. Sparse Causal Attention نیز باعث بهینه‌سازی هزینه پردازش ویدئو می‌شود و Asymmetric Distillation امکان تولید ویدئو در زمان واقعی را فراهم می‌کند.
Character.AI اعلام کرده است که این فناوری فقط درباره متحرک‌سازی چهره نیست؛ بلکه گامی مهم برای ساخت شخصیت‌های صوتی‌وتصویری تعاملی در زمان واقعی است. مدل جدید از سبک‌های مختلفی همچون چهره‌های واقع‌گرایانه و انیمه و آواتارهای سه‌بعدی پشتیبانی می‌کند و می‌تواند ارتباطات صوتی‌وتصویری طبیعی را در قالب مکالمات زنده ارائه دهد.
با آنکه این قابلیت هنوز به‌صورت عمومی در دسترس قرار نگرفته است، کارشناسان معتقدند درصورت انتشار رسمی، Character.AI می‌تواند به یکی از نخستین شرکت‌هایی تبدیل شود که تعامل زنده و چهره‌به‌چهره با هوش مصنوعی را محقق می‌سازد. این دستاورد می‌تواند جایگاه شرکت یادشده را در رقابت جهانی هوش مصنوعی ارتقای چشمگیری دهد.
