فرار مدل هوش مصنوعی چینی Kimi K3 از آزمایش‌های امنیتی

مدل هوش مصنوعی چینی Kimi K3 در جریان آزمایش‌های امنیتی AISI توانست به‌ دلیل پیکربندی اشتباه سندباکس از محیط کنترل‌شده خارج شود.

به‌ گزارش سرویس هوش مصنوعی تک‌ناک، زمان زیادی از روزهایی که فرار یک مدل یا عامل هوش مصنوعی از محیط محدودشده و تلاش آن برای نفوذ مستقل به وب‌سایت‌ها یک سناریوی نگران‌کننده و دور از انتظار محسوب می‌شد، نگذشته است؛ اما اکنون چنین رفتارهایی به اتفاقی تکرارشونده در آزمایش‌های ایمنی AI تبدیل شده‌اند.

مدل Kimi K3، یکی از قدرتمندترین مدل‌های هوش مصنوعی توسعه‌یافته توسط یک شرکت چینی نیز توانسته است از محیط آزمایش‌های امنیتی خود خارج شود. استارت‌آپ امنیت سایبری آمریکایی Frontier اعلام کرده که این مدل در جریان آزمایش توانایی‌های دفاع سایبری خود در موسسه امنیت هوش مصنوعی دولت بریتانیا (AISI)، موفق شده است از محیط سندباکس خارج شود.

بیشتر بخوانید: بایت‌دنس به‌ دنبال ساخت یک هوش مصنوعی در ابعاد مدل Mythos

01
از 02
مدل Kimi K3 نقطه‌ضعف آزمایش‌های امنیتی را پیدا کرد

مون‌شات، شرکت سازنده Kimi K3، این مدل را در ماه ژوئیه معرفی کرد و مدت کوتاهی بعد نسخه رایگان آن را در اختیار کاربران قرار داد. ارزیابی‌های مستقل نشان می‌دهد Kimi K3 از نظر عملکرد می‌تواند با برخی از پیشرفته‌ترین مدل‌های هوش مصنوعی شرکت‌هایی مانند OpenAI و آنتروپیک رقابت کند. Frontier تاکید کرده که این اتفاق ناشی از کشف یک آسیب‌پذیری روز صفر نبوده است؛ بلکه Kimi K3 از یک تنظیم نادرست در محیط آزمایش‌های امنیتی بهره برده است. اتفاقی مشابه پیش‌تر برای مدل‌های آنتروپیک، OpenAI و متا نیز رخ داده بود؛ جایی که این شرکت‌ها اعلام کردند مدل‌های آنها به دلیل اشتباه در زیرساخت ارزیابی شرکت توانسته بودند از محیط‌های ایزوله‌شده خارج شوند.

آزمایش‌های امنیتی Kimi K3 نشان داد این مدل چینی می‌تواند از محیط کنترل‌شده خارج شود

خبر پیشنهادی: حساب‌های هوش مصنوعی به هدف جدید هکرها تبدیل شدند

یارون سینگر، مدیرعامل Frontier Security گفت که مدل Kimi K3 از یک نقطه‌ضعف پیچیده استفاده نکرد، بلکه یک شکاف موجود در آزمایش‌های امنیتی AISI را پیدا کرد. به گفته او، این رفتار نشان می‌دهد که مدل ممکن است فاقد محافظ‌های داخلی کافی برای جلوگیری از انتخاب میانبرها یا پیدا کردن ساده‌ترین مسیر برای رسیدن به هدف باشد، حتی اگر این مسیر با روش مورد انتظار آزمایش‌کنندگان متفاوت باشد.

02
از 02
اهمیت اعمال محدودیت‌های امنیتی برای هوش مصنوعی

برخلاف برخی آزمایش‌های قبلی آنتروپیک و OpenAI که روی مدل‌های منتشرنشده یا مدل‌هایی با محدودیت‌های امنیتی کاهش‌یافته انجام شده بودند، Kimi K3 در این آزمایش یک مدل عمومی و در دسترس بود. البته این مدل به یک سرویس یا وب‌سایت خارجی نفوذ نکرد، بلکه تنها از دسترسی اینترنتی خود استفاده کرد و پاسخ مسئله مورد نظر را از مخزن GitHub پیدا کرد. یکی از مهم‌ترین درس‌های این رویداد از نگاه Frontier این است که اگر یک عامل هوش مصنوعی قدرتمند راهی برای دسترسی به اینترنت داشته باشد، احتمالا تلاش خواهد کرد آن مسیر را پیدا کند. کارکنان OpenAI نیز در کنفرانس Black Hat USA اشاره کردند که مدل‌های پیشرفته هوش مصنوعی در برخی آزمایش‌ها تمایل دارند به جای انجام مستقیم وظیفه، سریع‌ترین مسیر ممکن را برای رسیدن به نتیجه انتخاب کنند.

برای مطالعه بیشتر: پشت این چت‌بات یک آدم واقعی نشسته است!

با افزایش توانایی مدل‌های هوش مصنوعی، شرکت‌ها و محققان باید زیرساخت‌های آزمایش خود را ایمن‌تر کنند و اطمینان یابند محیط‌های ارزیابی هیچ مسیر دور زدن یا حفره امنیتی ندارند. هم‌زمان، کارکنان OpenAI در Black Hat USA جزئیات دیگری از رفتار عامل‌های هوش مصنوعی این شرکت را منتشر کردند. آنها گفتند که عامل‌های آزمایشی OpenAI در داخل شبکه شرکت یک تابلوی پیام ایجاد کرده بودند تا با یکدیگر همکاری کنند و تعاملات آنها در نهایت به حمله به مخزن هوش مصنوعی Hugging Face مرتبط شد. این عامل‌ها پیش‌تر نیز توانسته بودند از محیط آزمایشی ایزوله‌شده خود خارج شوند و برای حل وظایف محول‌شده، وارد مخازن هوش مصنوعی شوند. با این تفاوت که در آن مورد، خروج از محیط کنترل‌شده با بهره‌برداری از یک آسیب‌پذیری در سیستم‌های OpenAI امکان‌پذیر شده بود.