حمله جدیدی که می‌تواند اطلاعات شخصی کاربران را از چت‌بات‌ها استخراج کند

01

از 04

جزئیات حمله و ریسک‌های امنیتی مرتبط با هوش مصنوعی

از زمان انتشار ChatGPT شرکت OpenAI و رونق هوش مصنوعی مولد، محققان و هکرها به‌طور مداوم در حال یافتن حفره‌های امنیتی در سیستم‌های هوش مصنوعی بوده‌اند. این آسیب‌پذیری‌ها به دو دسته کلی تقسیم‌بندی می‌شوند: جیل‌بریک و تزریق پرامپت. جیل‌بریک‌ها پرامپت‌هایی هستند که AI را وادار می‌کنند تا قوانین ایمنی داخلی خود را نادیده بگیرد. درمقابل، تزریق پرامپت شامل دستورهای خارجی است که به AI منتقل می‌شود تا داده‌ها را به سرقت ببرد یا دست‌کاری کند.

این تزریق پرامپت‌ها به‌عنوان یکی از ریسک‌های امنیتی مهم AI شناخته می‌شوند؛ زیرا LLMها به‌طور فزاینده‌ای به‌عنوان عاملانی برای انجام کارهایی مانند رزرو پرواز یا اتصال به پایگاه داده‌های خارجی استفاده می‌شوند. محققان هشدار می‌دهند که این روش‌ها به هکرها امکان می‌دهند تا از AI برای اهداف مخرب استفاده کنند.

02

از 04

حمله‌ای که به داده‌های شخصی دسترسی پیدا می‌کند

حمله ایمپرامپتر با استفاده از پرامپتی به زبان طبیعی آغاز می‌شود که هوش مصنوعی را به استخراج اطلاعات شخصی کاربر از چت‌بات‌ها وادار می‌کند. این پرامپت اطلاعات شخصی کاربر را به دستور تصویر Markdown تبدیل می‌کند و آن را به URL متعلق به مهاجم پیوند می‌زند. LLM این URL را بازدید می‌کند و اطلاعات شخصی را به مهاجم می‌فرستد و در چت با پیکسلی شفاف پاسخ می‌دهد که برای کاربر نامرئی است.

محققان هشدار می‌دهند که اگر این حمله در دنیای واقعی اجرا شود، ممکن است کاربران به‌طور ناخواسته پرامپت‌های مخرب را بپذیرند و این پرامپت‌ها می‌توانند به سرقت داده‌های شخصی آن‌ها منجر شود. آن‌ها به وب‌سایت‌های متعددی اشاره می‌کنند که پرامپت‌های کاربردی ارائه می‌دهند؛ اما از این پرامپت‌ها ممکن است سوءاستفاده شود.

03

از 04

پاسخ شرکت‌های Mistral AI و ChatGLM به تهدیدهای امنیتی

سخن‌گوی Mistral AI اعلام کرده است که پس از دریافت گزارش محققان، این شرکت به‌سرعت مشکل را رفع و قابلیت Markdown را غیرفعال کرده است تا از بارگذاری تصاویر خارجی جلوگیری شود. شرکت مذکور این نقص را با شدت متوسط ارزیابی کرده است. درمقابل، ChatGLM با انتشار بیانیه‌ای اعلام کرده که امنیت مدل‌هایش از اولویت زیادی برخوردار است و با منبع‌باز‌کردن مدل خود، سعی می‌کند شفافیت و امنیت را افزایش دهد.

04

از 04

توصیه‌های امنیتی برای کاربران و شرکت‌ها

دن مک‌اینرنی، محقق امنیتی در شرکت Protect AI، معتقد است که روش Imprompter نشان‌دهنده الگوریتمی برای ایجاد خودکار پرامپت‌های مخرب است که می‌تواند اطلاعات حساس را سرقت و از LLMها سوءاستفاده کند. او به کاربران توصیه می‌کند که در استفاده از چت‌بات‌ها و ابزارهای AI دقت بیشتری داشته کنند. همچنین، اطلاعات شخصی خود را با احتیاط بیشتری در این سیستم‌ها به‌اشتراک بگذارند.

این پژوهش و افشاگری جدید نشان می‌دهد که حملات سایبری به LLMها نه‌تنها پیچیده‌تر شده‌اند؛ بلکه خطرهای جدیدی برای امنیت داده‌ها و حریم خصوصی کاربران به‌همراه دارند. بنابراین، شرکت‌ها و کاربران باید فعالانه برای افزایش امنیت و محافظت از داده‌های شخصی‌شان تلاش کنند.