اپلیکیشن NaviSense با طراحی مبتنی بر نیازهای واقعی کاربران نابینا، محیط را به صورت زنده اسکن و با راهنمایی صوتی و لمسی، یافتن اشیا را سریع‌تر و دقیق‌تر می‌کند.
به گزارش سرویس فناوری تکناک، محققان دانشگاه پن‌استیت این اپلیکیشن جدید را توسعه داده‌اند، که می‌تواند تجربه دستیار دیجیتال را برای افراد دارای اختلال بینایی متحول کند. این سامانه مبتنی بر گوشی هوشمند با بهره‌گیری از هوش مصنوعی، اشیا را به صورت لحظه‌ای شناسایی می‌کند.
این فناوری به منظور حل مشکلات دیرینه نرم‌افزارهای ناوبری کمکی طراحی شده است؛ بسیاری از ابزارهای فعلی به تیم‌های پشتیبانی انسانی وابسته هستند، یا نیاز به کتابخانه اشیای از پیش بارگذاری‌شده دارند. به گفته ویجایکریشن نارایانان، استاد دانشگاه و استاد مهندسی برق، این محدودیت انعطاف‌پذیری کاربران را کاهش می‌دهد.
اپلیکیشن NaviSense با اتصال به سرور خارجی، که مدل‌های بزرگ زبانی و بینایی را اجرا می‌کند، قادر است فرمان‌های صوتی را تفسیر کند، محیط را اسکن نماید و اشیا را بدون نیاز به پایگاه داده ثابت شناسایی کند. نارایانان توضیح داد: «با استفاده از این مدل‌ها، NaviSense می‌تواند اشیا را در زمان واقعی بر اساس فرمان‌های صوتی تشخیص دهد، بدون آنکه مدل‌های اشیا از قبل بارگذاری شده باشند؛ این یک گام بزرگ برای توسعه این فناوری است.»
حتما بخوانید: نمایشگر بریل جدید می تواند آموزش به دانش آموزان نابینا را متحول کند
بیشتر بخوانید: پیشرفت بزرگ دانشمندان در درمان نابینایی
طراحی اپلیکیشن NaviSense برمبنای نیاز واقعی کاربران
تیم توسعه، اپلیکیشن NaviSense را پس از مصاحبه‌های گسترده با افراد دارای اختلال بینایی طراحی کرده ست تا نیازهای واقعی کاربران در محیط‌های روزمره شناسایی شود. آجای نارایانان، دانشجوی دکترای مهندسی کامپیوتر و محقق اصلی دانشجویی گفت: «این مصاحبه‌ها دید روشنی از چالش‌های واقعی افراد دارای نقص بینایی به ما داد.» این اپلیکیشن با شنیدن فرمان صوتی کاربر، محیط را اسکن و اشیای غیرمرتبط را فیلتر می‌کند و در صورت نیاز، سوال‌های پیگیری می‌پرسد تا تعامل گفت‌وگومحور، انعطاف بیشتری فراهم کند، چیزی که بسیاری از ابزارهای موجود از آن عاجز هستند.
یکی از ویژگی‌های برجسته، راهنمایی دست است؛ سیستم با ردیابی حرکت گوشی، جهت‌یابی دقیق دست کاربر را برای رسیدن به شی فراهم می‌کند. نارایانان عنوان کرد: «هیچ راهکار آماده‌ای وجود نداشت که دست کاربران را فعالانه به سمت اشیا هدایت کند و این ویژگی همیشه در نظرسنجی ما درخواست می‌شد.» آزمایش اولیه با ۱۲ شرکت‌کننده نشان داد که اپلیکیشن NaviSense زمان جست‌وجو را کاهش می‌دهد و دقت بالاتری دارد و تجربه کاربری بهتری ارائه می‌کند. تیم در حال بهینه‌سازی مصرف انرژی و کارایی مدل‌ها است و نارایانان بیان کرد: «این فناوری در آستانه آماده‌سازی تجاری است و ما در تلاش هستیم دسترسی به آن را آسان‌تر کنیم.»
این پروژه با حمایت بنیاد ملی علوم آمریکا اجرا شده است.
