فهرست مطالب
شرکت OpenAI هشدار داد که حملات تزریق دستورات (Prompt Injection) تهدیدی دائمی برای مرورگرهای هوش مصنوعی هستند و به احتمال زیاد هرگز بهطور کامل و قطعی از بین نخواهند رفت.
به گزارش سرویس هوش مصنوعی تکناک، مهاجمان قادر هستند به وسیله این حملات، هوش مصنوعی را وادار به انجام دستورات مخرب پنهانشده در صفحات وب یا ایمیلها کنند. این تهدیدات روز به روز بیشتر شده و بهویژه در دنیای باز وب، امنیت هوش مصنوعی تحت تاثیر قرار گرفته است.
در حالی که OpenAI برای تقویت امنیت مرورگر ChatGPT Atlas خود در برابر این حملات سخت تلاش میکند، این شرکت اعلام کرده است که تهدیدات مربوط به تزریق دستورات بهطور کامل قابل حل نیستند. در پستی که این شرکت در روز دوشنبه منتشر کرد، گفته شده است: «تزریق دستورات، مشابه کلاهبرداریها و مهندسی اجتماعی در وب، به احتمال زیاد هیچ وقت به طور کامل حل نخواهد شد.» به گفته OpenAI، «حالت عامل» (agent mode) در ChatGPT Atlas سطح تهدید امنیتی را افزایش میدهد، به طوری که تهدیدات جدیدتری وارد این فضا میشوند.
01
از 04حملات تزریق دستورات: یک تهدید دائمی
شرکت OpenAI در ماه اکتبر مرورگر ChatGPT Atlas خود را راهاندازی کرد، اما این پروژه به سرعت توجه پژوهشگران امنیتی را جلب کرد. این محققان در سریعترین زمان ممکن آزمایشهایی انجام دادند که نشان داد با نوشتن چند کلمه ساده در Google Docs میتوان رفتار مرورگر را تغییر داد. در همان روز، شرکت Brave نیز در پستی وبلاگی این تهدید را به عنوان یک چالش سیستماتیک برای مرورگرهای مبتنی بر هوش مصنوعی مانند Perplexity’s Comet معرفی کرد.
این حملات بهطور مستقیم تهدیدی برای امنیت مرورگرهای مبتنی بر هوش مصنوعی ایجاد کرده است. هرچند که OpenAI و سایر شرکتها در تلاش هستند تا از این آسیبپذیریها جلوگیری کنند، اما نمیتوان انتظار داشت که این تهدیدات بهطور کامل از بین بروند.
02
از 04پاسخ OpenAI به حملات تزریق دستورات
شرکت OpenAI برای مقابله با این حملات، یک استراتژی دفاعی پیشگیرانه را اتخاذ کرده است، که شامل یک چرخه پاسخ سریع است. این چرخه به آنها کمک میکند تا حملات جدید را به سرعت شبیهسازی و شناسایی کنند، پیش از آنکه در دنیای واقعی بهکار گرفته شوند. یکی از ابزارهای اصلی این رویکرد، «حملهگر خودکار مبتنی بر LLM» است، که OpenAI آن را با استفاده از یادگیری تقویتی آموزش داده است. این ربات در نقش یک هکر عمل میکند و سعی دارد تا نقاط ضعف سیستم را شبیهسازی و شناسایی کند.
این ربات میتواند حملات را در شبیهسازیها آزمایش کند و رفتار سیستم هدف را مشاهده نماید. پس از مشاهده نحوه واکنش سیستم به این حملات، ربات میتواند آنها را اصلاح و مجدد امتحان کند. شرکت OpenAI معتقد است که این روش بهویژه در شناسایی نقصهای سیستم و آسیبپذیریهای آن مؤثر است، چرا که این بینشها به آنها امکان میدهد که سریعتر از مهاجمان واقعی نقصها را شناسایی کنند.
در یکی از دموهای ارائهشده، OpenAI نشان داد که چگونه حملهگر خودکار یک ایمیل مخرب را به صندوق ورودی کاربر وارد میکند. زمانی که هوش مصنوعی صندوق ورودی را بررسی میکند، دستورات پنهان در ایمیل را دنبال و به جای نوشتن یک پاسخ خودکار، پیامی اشتباه ارسال میکند. اما پس از اعمال بهروزرسانی امنیتی، «حالت عامل» توانست تلاش حمله تزریق دستورات را شناسایی کند و به کاربر هشدار دهد.
03
از 04ادامه چالشها و توصیهها برای کاربران
با وجود اینکه OpenAI در تلاش است تا امنیت مرورگر خود را تقویت کند، این شرکت اذعان دارد که مقابله با حملات تزریق دستورات یک چالش طولانیمدت خواهد بود که هیچ وقت بهطور کامل حل نخواهد شد. به همین دلیل، این شرکت بر انجام آزمایشهای وسیع، چرخههای سریع پچها و آموزشهای امنیتی به کاربران خود تأکید دارد.
همچنین OpenAI به کاربران توصیه میکند که از دادن دستورالعملهای عمومی به هوش مصنوعی خودداری کنند. این شرکت تأکید دارد که بهتر است کاربران دسترسی به اطلاعات حساس خود مانند ایمیلها و اطلاعات پرداخت را محدود کنند و به جای دادن آزادی عمل کامل به هوش مصنوعی، دستورالعملهای مشخصی برای آنها تعیین نمایند. این روش میتواند از ورود محتوای مخرب به سیستم جلوگیری کند.
04
از 04اهمیت حفظ امنیت و آینده مرورگرهای هوش مصنوعی
Rami McCarthy، محقق امنیتی در شرکت Wiz معتقد است که یادگیری تقویتی یکی از روشهای مفید برای مقابله با تهدیدات است، اما این تنها بخشی از راهحل است. او اشاره کرد که مرورگرهای هوش مصنوعی در بخش چالشبرانگیزی از فضای امنیتی قرار دارند که ترکیبی از خودمختاری متوسط و دسترسی بسیار بالا را دارند. به گفته McCarthy، این مرورگرها برای بسیاری از کاربردهای روزمره هنوز بهاندازه کافی ارزشمند نیستند و ریسکهای بالای آنها بهویژه با توجه به دسترسی به اطلاعات حساس مانند ایمیلها و اطلاعات پرداخت، هنوز به حدی نیست که توجیهکننده استفاده گسترده از آنها باشد.
تک کرانچ مینویسد، این نگرانیها به تدریج بهعنوان یک بخش جدی از بحث امنیتی در صنعت هوش مصنوعی مطرح میشوند. برای آینده، این روند همچنان ادامه خواهد داشت و مرورگرهای هوش مصنوعی باید خود را با تهدیدات جدید تطبیق دهند و بهطور مداوم از طریق تستهای امنیتی و بهروزرسانیهای سریعتر، نقاط ضعف خود را اصلاح کنند.
