یک اشتباه پیکربندی در محیط آزمایشی OpenAI باعث شد یک مدل هوش مصنوعی به سیستم Hugging Face نفوذ کند و ضعف امنیتی Sandboxها را آشکار نماید.
به گزارش سرویس هوش مصنوعی تکناک، شرکت OpenAI روز سهشنبه اعلام کرد که یکی از مدلهای هوش مصنوعی این شرکت در جریان یک آزمایش از کنترل خارج شده و توانسته است به سیستمهای پلتفرم دادههای هوش مصنوعی Hugging Face نفوذ کند. این رویداد نمونهای کمسابقه از خطرات ناشی از مدلهای پیشرفته هوش مصنوعی محسوب میشود که قادر به انجام حملات سایبری خودکار هستند.
با وجود این، به گفته برخی کارشناسان امنیت سایبری، ریشه این حمله کاملاً مبتنی بر هوش مصنوعی، یک اشتباه انسانی بوده است. شرکت OpenAI نتوانسته بود محیطی که آن را «بسیار ایزوله» توصیف کرده بود، بهدرستی پیکربندی کند. در نتیجه، محیط آزمایشی موسوم به Sandbox که باید به طور کامل از اینترنت جدا میبود، در عمل توانایی اتصال به اینترنت را داشت.
دن گیدو، بنیانگذار شرکت پژوهشی امنیت سایبری Trail of Bits، این اتفاق را «شکست در فرایند مهار با غیرفعال بودن لایههای ایمنی» توصیف کرد.
شرکت OpenAI در مطلبی که درباره این حادثه منتشر کرد، توضیح داد که آزمایش منجر به نفوذ به Hugging Face در یک «محیط بسیار ایزوله» اجرا شده بود. این محیط، دسترسی شبکهای محدودی داشت و فقط امکان نصب بستههای نرمافزاری از طریق یک سرویس شخص ثالث داخلی را فراهم میکرد که به عنوان واسطه و حافظه کش برای مخازن نرمافزاری عمل میکرد.
با وجود این، طبق اعلام OpenAI، مدل هوش مصنوعی توانست به دلیل وجود یک آسیبپذیری فاشنشده در سیستم نصب بستههای نرمافزاری، از محیط آزمایشی Sandbox خارج شود. این آسیبپذیری، نخستین مرحله در زنجیره حملهای بود که در نهایت باعث نفوذ به سیستمهای Hugging Face شد.
شرکت OpenAI اعلام کرد که این آسیبپذیری روز صفر را به صورت مسئولانه به شرکت توسعهدهنده نرمافزار شخص ثالث گزارش کرده است و برای رفع مشکل با آن شرکت همکاری میکند.
با وجود این توضیحات، بسیاری از متخصصان امنیت سایبری معتقد هستند وجود آسیبپذیری نرمافزاری موضوعی غیرعادی نیست و مشکل اصلی، تصمیم OpenAI برای استفاده از چنین نرمافزاری در محیطی بوده است که قرار بود کاملاً ایزوله باشد. از دید این کارشناسان، ارزش یک سیستم Sandbox به جداسازی کامل آن وابسته است و اضافه کردن هرگونه مسیر ارتباطی خارجی، حتی برای نصب بستههای نرمافزاری، خطرهای جدی ایجاد میکند.
دنیل کارد، مشاور امنیت سایبری نیز معتقد است که OpenAI «تلاش کافی برای طراحی Sandbox و کنترلهای امنیتی آن انجام نداده است». او اعلام کرد که فراهم کردن یک مسیر بدون فیلتر به اینترنت برای یک محیط آزمایشی، حتی با محدودیتهای شبکهای، تصمیمی منطقی محسوب نمیشود.
البته بسیاری از این انتقادها پس از وقوع حادثه مطرح شدهاند و از مزیت نگاه پس از رویداد برخوردار هستند. هرچند، این اتفاق پرسشهای مهمی درباره شیوههای امنیتی آزمایشگاههای هوش مصنوعی، بهویژه درباره نحوه ساخت و نگهداری محیطهای ایزوله برای آزمایش مدلهای قدرتمند ایجاد کرده است.
سخنگویان OpenAI به پرسشهای TechCrunch درباره این حادثه پاسخ ندادند. یکی از پرسشهای مطرحشده این بود که آیا محیط آزمایشی توسط یک انسان پیکربندی شده یا یک سیستم هوش مصنوعی در ایجاد آن نقش داشته است.
اما این نگرانیها فقط به OpenAI محدود نمیشود. شرکت آنتروپیک نیز در سند معرفی مدل امنیت سایبری خود با نام Mythos اعلام کرده است که این مدل در یک آزمایش، به یک رایانه Sandbox امن دسترسی داشته است و از آن خواسته شده بود که تلاش کند از این «محفظه امن» خارج شود.
مدل Mythos توانست دسترسی گستردهتری به اینترنت به دست آورد؛ در حالی که این سیستم فقط باید امکان ارتباط با تعداد محدودی سرویس از پیش تعیینشده را میداشت. با وجود این، آنتروپیک اعلام کرد که این مدل نتوانسته است به طور کامل از سازوکارهای مهار طراحیشده عبور کند.
مارتین بون، پژوهشگر امنیت سایبری در گفتوگو با سایت TechCrunch اعلام کرد که این اتفاق «شبیه یک شکست انسانی» به نظر میرسد.
او گفت: «این اتفاق هرگز نباید رخ میداد. اگر Sandbox واقعاً به معنای Sandbox باشد، انتظار میرود هیچ اتصال فیزیکی به اینترنت وجود نداشته باشد. به نظر میرسد آنها بیشتر از فایروال یا روشهای مشابه استفاده کردهاند؛ در حالی که کنترل چنین ارتباطاتی از داخل سیستم به سمت اینترنت بسیار دشوار است.»
جیک ویلیامز، متخصص باسابقه امنیت سایبری نیز با این دیدگاه موافق است. او اعلام کرد: «هر مدلی که بتواند اقداماتی مانند موارد ثبتشده در حمله Hugging Face انجام دهد، در یک Sandbox کاملاً محدود قرار نداشته است.»
ویلیامز این اتفاق را «یک شکست بزرگ در کنترلهای امنیتی OpenAI» توصیف کرد و گفت: «چیزی که یک نفر آن را فرار مدل از Sandbox مینامد، فرد دیگری آن را شکست در ساخت صحیح Sandbox میداند؛ بنابراین طبیعی است که مدل بتواند از آن خارج شود.»
این حادثه نشان میدهد که با افزایش توانایی مدلهای هوش مصنوعی در انجام عملیات پیچیده، امنیت زیرساختهایی که برای آزمایش آنها استفاده میشود، اهمیت بیشتری پیدا میکند. حتی قدرتمندترین مدلهای هوش مصنوعی نیز در صورت وجود نقص در طراحی محیط آزمایش، میتوانند به جای یک ابزار کنترلشده، به عاملی برای ایجاد خطرهای امنیتی تبدیل شوند.
