گوگل با همکاری دیپمایند قابلیت «Magic Pointer» را معرفی کرده که با ترکیب اشاره، گفتار و زمینه، امکان تعامل مستقیم و طبیعی با محتوا را در ابزارهایی مثل کروم و جمنای فراهم میکند و کارهای پیچیده را به دستورهای ساده تبدیل میکند.
بهگزارش سرویس هوش مصنوعی تکناک، قابلیت «Magic Pointer» در گوگلبوک با همکاری تیم تحقیقاتی گوگل دیپمایند توسعه یافته و جزئیات تازهای از ایده نشانگرهای مبتنی بر هوش مصنوعی را آشکار کرده است.
بر اساس توضیحات دیپمایند، هدف این فناوری آن است که نشانگر به شناسایی عنصر اشارهشده محدود نباشد، بلکه بتواند زمینه و اهمیت آن عنصر را برای کاربر نیز درک کند. این رویکرد در پاسخ به یک چالش رایج در ابزارهای فعلی هوش مصنوعی شکل گرفته است؛ جایی که مدلها معمولا در محیطی جداگانه عمل میکنند و کاربران ناچارند دادهها را بهصورت دستی به آنها منتقل کنند.
در مقابل، هدف جدید ایجاد نوعی هوش مصنوعی یکپارچه است که در بستر تمام ابزارهای کاربر حضور دارد و بدون ایجاد وقفه در جریان کار، بهصورت طبیعی با آن تعامل میکند. برای نمونه، کاربر میتواند با استفاده از Magic Pointer، تنها با اشاره به تصویر یک ساختمان، درخواست «نمایش مسیر» را مطرح کند، زیرا سیستم پیشتر زمینه بصری و معنایی را درک کرده است.
مرتبط: گوگلبوک معرفی شد؛ جاهطلبی تازه گوگل برای تسخیر بازار لپتاپ
بیشتر بخوانید: گوگل فایننس به اروپا رسید؛ هوش مصنوعی حالا بازارهای مالی را متحول می کند
در این چارچوب، ایده اصلی جایگزینی پرامپتهای متنی سنگین با تعاملاتی سادهتر، مستقیمتر و شهودیتر است. در نهایت، نشانگر مجهز به هوش مصنوعی یا Magic Pointer، با تحلیل همزمان زمینه بصری و معنایی پیرامون اشاره، امکان «دیدن» و درک هدف کاربر را برای سیستم فراهم میکند. به همین شکل، یک «سیستم هوش مصنوعی که بتواند ترکیب زمینه، اشاره و گفتار را درک کند» به کاربران اجازه میدهد درخواستهای پیچیده را بهصورت خلاصه و طبیعی بیان کنند.
کاربردهای Magic Pointer شامل این موارد است:
- اشاره به یک فایل PDF و درخواست یک خلاصه برای استفاده مستقیم در ایمیل
- رفتن روی یک جدول آماری و درخواست تبدیل آن به نمودار دایرهای
- هایلایت کردن یک دستور غذا و درخواست دو برابر شدن تمام مواد اولیه
در یک مثال دیگر، «یک فریم متوقفشده از ویدئوی سفر میتواند به لینک رزرو برای یک رستوران جذاب تبدیل شود.»
گوگل دو کاربرد مختلف از این نشانگر هوشمند Magic Pointer را در AI Studio ارائه کرده است:
- ویرایش تصویر
- پیدا کردن مکانها روی نقشه
همچنین بهزودی کاربران میتوانند از نشانگر خود در مرورگر کروم برای پرسیدن سوال از جمنای درباره بخشی از یک صفحه وب استفاده کنند. این قابلیت در آینده عرضه میشود. برای مثال، میتوان چند محصول را در یک صفحه انتخاب کرد و درخواست مقایسه داد، یا روی بخشی از صفحه اشاره کرد تا مشخص شود یک مبل جدید در فضای اتاق نشیمن چگونه دیده خواهد شد.
