محققان روشی به نام Fun-Tuning را کشف کرده‌اند که به هکرها امکان می‌دهد تا از ابزارهای داخلی خود جمنای برای نفوذ و حملات سایبری استفاده کنند.
به گزارش تکناک، گروهی از پژوهشگران دانشگاهی موفق شده‌اند تا با استفاده از ابزارهای داخلی مدل هوش مصنوعی جمنای، راهی برای افزایش آسیب‌پذیری آن در برابر حملات هکری پیدا کنند. این روش جدید که «Fun-Tuning» نام دارد، از قابلیت تنظیم دقیق جمنای برای بهینه‌سازی حملات تزریق دستور استفاده می‌کند و می‌تواند مدل را به پیروی از دستورهای پنهان وادار کند.
براساس گزارش Ars Technica، این تکنیک را تیمی از دانشگاه‌های UC San Diego و ویسکانسین توسعه داده‌اند و نرخ موفقیت حملات تزریق دستور را افزایش درخورتوجهی می‌دهد. در این نوع حملات، هکرها دستورهای پنهانی را در متنی که مدل هوش مصنوعی مطالعه می‌کند، جای می‌دهند تا عملکردش را تغییر دهند. نتایج این حملات می‌تواند شامل افشای اطلاعات و ارائه پاسخ‌های نادرست یا اجرای دستورهای خارج از محدوده مجاز باشد.
پژوهشگران برای اجرای این روش، از قابلیت تنظیم دقیق مدل استفاده کردند؛ قابلیتی که در حالت عادی برای آموزش مدل با داده‌های سفارشی طراحی شده است. در روش Fun-Tuning، پژوهشگران با افزودن پیشوندها و پسوندهای عجیب به دستورهای معمولی، میزان موفقیت حملات را افزایش چشمگیری دادند. برای مثال، عباراتی مانند «wandel ! ! ! !» و «formatted ! ASAP !» به دستوری ضعیف افزوده شدند و آن را به حمله‌ای موفق تبدیل کردند.
به نقل از اندروید اتوریتی، در حین آزمایش‌ها، این حملات روی مدل Gemini 1.5 Flash با موفقیت ۶۵ درصد و روی مدل قدیمی‌تر Gemini 1.0 Pro با موفقیت ۸۲ درصد همراه بود. این آمار بیش از دو برابر نرخ موفقیت حملات بدون استفاده از Fun-Tuning است. همچنین این حملات قابلیت انتقال بین مدل‌ها را نیز داشتند و دستوری که روی یک نسخه موفق عمل می‌کرد، اغلب در نسخه‌های دیگر نیز نتیجه مشابهی می‌داد.
مبنای این آسیب‌پذیری نحوه عملکرد فرایند تنظیم دقیق است. در این فرایند، مدل با عددی به نام «امتیاز خطا» بازخورد دریافت می‌کند؛ عددی که فاصله پاسخ مدل با نتیجه مطلوب را نشان می‌دهد. مهاجمان می‌توانند از همین بازخورد برای اصلاح و بهینه‌سازی حملات خود بهره ببرند تا زمانی که به دستوری موفق دست یابند.
گوگل تاکنون واکنش مستقیمی به این روش خاص نشان نداده است. با‌این‌حال، یکی از سخن‌گویان این شرکت در بیانیه‌ای کلی اعلام کرد که دفاع در برابر این نوع حمله همواره یکی از اولویت‌های گوگل بوده است و به وجود سامانه‌های امنیتی برای مقابله با تزریق دستور و پاسخ‌های مضر اشاره کرد. گوگل تأکید کرد که مدل جمنای به‌طور منظم ازطریق آزمایش‌های داخلی با حضور تیم‌های موسوم به «تیم قرمز» در برابر چنین تهدیدهایی آزموده می‌شود.
با‌این‌حال، پژوهشگران هشدار داده‌اند که رفع کامل آسیب‌پذیری نفوذ به جمنای ممکن است دشوار باشد؛ زیرا بازخوردی که Fun-Tuning را ممکن می‌سازد، جزء جدایی‌ناپذیر از ساختار تنظیم دقیق است. بنابراین، محدود‌کردن این قابلیت می‌تواند اثربخشی کلی آن را برای توسعه‌دهندگان و کاربران کاهش دهد.
