حمله جدیدی که می‌تواند اطلاعات شخصی کاربران را از چت‌بات‌ها استخراج کند

پرامپت‌هایی ایجاد شده‌اند که درخواست مخرب را به مجموعه‌ای از دستورالعمل‌های پنهانی تبدیل و اطلاعات شخصی کاربران را از چت‌بات‌ها استخراج کند.

به‌گزارش تک‌ناک، پژوهشی جدید نشان می‌دهد که پرامپت‌هایی به‌طور مخفیانه به چت‌بات‌های هوش مصنوعی دستور می‌دهند تا اطلاعات شخصی کاربران را از مکالماتشان استخراج کنند. این اطلاعات ممکن است شامل نام، شماره شناسایی، جزئیات کارت پرداخت، آدرس‌های ایمیل و پستی و حتی جزئیات بیشتر باشد. گروهی از محققان امنیتی از دانشگاه کالیفرنیا و سن‌دیگو (UCSD) و دانشگاه فناوری نانیانگ در سنگاپور، روش حمله‌ای به نام «ایمپرامپتر» را شناسایی کرده‌اند. روش مذکور این اطلاعات را به‌طور مخفیانه به‌دست می‌آورد و برای مهاجم ارسال می‌کند.

وایرد می‌نویسد که این محققان با استفاده از پرامپتی به‌ظاهر بی‌معنی، به مدل‌های زبانی بزرگ (LLM) دستور می‌دهند که اطلاعات شخصی کاربر را پیدا و به دامنه‌ای ارسال کنند که متعلق به مهاجم است. این عملیات بدون اطلاع کاربر و به‌طور کاملاً مخفیانه انجام می‌شود. ژیاوهان فو، نویسنده اصلی این تحقیق و دانشجوی دکتری علوم کامپیوتر در UCSD، در‌این‌باره می‌گوید:

اثر این پرامپت به‌طور اساسی این است که LLM را به استخراج اطلاعات شخصی و ارسال آن به آدرس مهاجم وادار می‌کند. ما هدف حمله را به‌طور آشکار پنهان کرده‌ایم.

این حمله روی دو مدل مختلف از چت‌بات‌ها، یعنی LeChat از Mistral AI و ChatGLM از چین، آزمایش شده است. محققان موفق شده‌اند تا در مکالمه‌های آزمایشی، اطلاعات شخصی را به‌طور مخفیانه استخراج کنند. نتایج این آزمایش‌ها نشان می‌دهد که این حمله با نرخ موفقیت تقریباً ۸۰ درصدی همراه است.

Mistral AI با انتشار بیانیه‌ای به مجله وایرد اعلام کرده است که نقص امنیتی مذکور را برطرف و قابلیت‌های چت خود را برای جلوگیری از چنین حملاتی محدود کرده است. در‌مقابل، ChatGLM ضمن تأکید بر جدیت خود در موضوع امنیت، به‌طور مستقیم به این نقص اشاره نکرده است.

جزئیات حمله و ریسک‌های امنیتی مرتبط با هوش مصنوعی

از زمان انتشار ChatGPT شرکت OpenAI و رونق هوش مصنوعی مولد، محققان و هکرها به‌طور مداوم در حال یافتن حفره‌های امنیتی در سیستم‌های هوش مصنوعی بوده‌اند. این آسیب‌پذیری‌ها به دو دسته کلی تقسیم‌بندی می‌شوند: جیل‌بریک و تزریق پرامپت. جیل‌بریک‌ها پرامپت‌هایی هستند که AI را وادار می‌کنند تا قوانین ایمنی داخلی خود را نادیده بگیرد. درمقابل، تزریق پرامپت شامل دستورهای خارجی است که به AI منتقل می‌شود تا داده‌ها را به سرقت ببرد یا دست‌کاری کند.

این تزریق پرامپت‌ها به‌عنوان یکی از ریسک‌های امنیتی مهم AI شناخته می‌شوند؛ زیرا LLMها به‌طور فزاینده‌ای به‌عنوان عاملانی برای انجام کارهایی مانند رزرو پرواز یا اتصال به پایگاه داده‌های خارجی استفاده می‌شوند. محققان هشدار می‌دهند که این روش‌ها به هکرها امکان می‌دهند تا از AI برای اهداف مخرب استفاده کنند.

حمله‌ای که به داده‌های شخصی دسترسی پیدا می‌کند

حمله ایمپرامپتر با استفاده از پرامپتی به زبان طبیعی آغاز می‌شود که هوش مصنوعی را به استخراج اطلاعات شخصی کاربر از چت‌بات‌ها وادار می‌کند. این پرامپت اطلاعات شخصی کاربر را به دستور تصویر Markdown تبدیل می‌کند و آن را به URL متعلق به مهاجم پیوند می‌زند. LLM این URL را بازدید می‌کند و اطلاعات شخصی را به مهاجم می‌فرستد و در چت با پیکسلی شفاف پاسخ می‌دهد که برای کاربر نامرئی است.

محققان هشدار می‌دهند که اگر این حمله در دنیای واقعی اجرا شود، ممکن است کاربران به‌طور ناخواسته پرامپت‌های مخرب را بپذیرند و این پرامپت‌ها می‌توانند به سرقت داده‌های شخصی آن‌ها منجر شود. آن‌ها به وب‌سایت‌های متعددی اشاره می‌کنند که پرامپت‌های کاربردی ارائه می‌دهند؛ اما از این پرامپت‌ها ممکن است سوءاستفاده شود.

پاسخ شرکت‌های Mistral AI و ChatGLM به تهدیدهای امنیتی

سخن‌گوی Mistral AI اعلام کرده است که پس از دریافت گزارش محققان، این شرکت به‌سرعت مشکل را رفع و قابلیت Markdown را غیرفعال کرده است تا از بارگذاری تصاویر خارجی جلوگیری شود. شرکت مذکور این نقص را با شدت متوسط ارزیابی کرده است. درمقابل، ChatGLM با انتشار بیانیه‌ای اعلام کرده که امنیت مدل‌هایش از اولویت زیادی برخوردار است و با منبع‌باز‌کردن مدل خود، سعی می‌کند شفافیت و امنیت را افزایش دهد.

توصیه‌های امنیتی برای کاربران و شرکت‌ها

دن مک‌اینرنی، محقق امنیتی در شرکت Protect AI، معتقد است که روش Imprompter نشان‌دهنده الگوریتمی برای ایجاد خودکار پرامپت‌های مخرب است که می‌تواند اطلاعات حساس را سرقت و از LLMها سوءاستفاده کند. او به کاربران توصیه می‌کند که در استفاده از چت‌بات‌ها و ابزارهای AI دقت بیشتری داشته کنند. همچنین، اطلاعات شخصی خود را با احتیاط بیشتری در این سیستم‌ها به‌اشتراک بگذارند.

این پژوهش و افشاگری جدید نشان می‌دهد که حملات سایبری به LLMها نه‌تنها پیچیده‌تر شده‌اند؛ بلکه خطرهای جدیدی برای امنیت داده‌ها و حریم خصوصی کاربران به‌همراه دارند. بنابراین، شرکت‌ها و کاربران باید فعالانه برای افزایش امنیت و محافظت از داده‌های شخصی‌شان تلاش کنند.