فهرست مطالب
حمله سایبری جمنای در جریان یک آزمایش امنیتی باعث شد این مدل از محیط شبیهسازیشده خارج شود و به شرکتهای واقعی دسترسی پیدا کند.
به گزارش سرویس هوش مصنوعی تکناک، جمنای گوگل نیز به جمع عاملهای هوش مصنوعی سرکش پیوست؛ ایجنتی که در جریان یک آزمایش امنیتی توانست از محیط ایزوله خود خارج شود و به اهداف واقعی در دنیای خارج حمله سایبری کند.
برای مطالعه بیشتر: شرکت OpenAI دستیار هوشمند اختصاصی برای وکلا معرفی کرد
جزئیات حمله سایبری جمنای
والاستریت ژورنال روز جمعه گزارش داد که گوگل تایید کرده است یکی از نمونههای جمنای در جریان آزمایشی که ماه می برگزار شد، توانسته است از محیط آزمایشی تعیینشده خارج شود و به شرکتهای دیگر حمله سایبری کند. این آزمایش توسط ایرگولار، شرکت فعال در زمینه امنیت هوش مصنوعی پیشرفته انجام شده است. به گفته ژورنال، این شرکت در آزمایشهای مشابه مربوط به خروج مدلهای هوش مصنوعی از محیطهای ایزوله در OpenAI، آنتروپیک و متا نیز مشارکت داشته است. نیویورک تایمز بیان کرد که وجه مشترک این حوادث، دسترسی غیرمجاز مدلهای هوش مصنوعی به اینترنت در جریان آزمایشهای ایرگولار بوده است.
بیشتر بخوانید: گوگل با CC بهدنبال مدیریت هوشمند زندگی خانوادگی است
ایرگولار در این آزمایش، جمنای را در یک سناریوی Capture the Flag قرار داد که زیرساخت یک شرکت خیالی را شبیهسازی میکرد. اما زمانی که جمنای متوجه اتصال خود به اینترنت شد، مسیر آزمایش را رها کرد و به سراغ یک شرکت واقعی با همان نام رفت و به آن حمله سایبری کرد. این مدل با حدس زدن رمزهای عبور تا زمان دستیابی به دسترسی، از حمله جستوجوی فراگیر برای ورود به سیستم استفاده کرد. در دو مورد دیگر نیز جمنای اطلاعات کاربری معتبر را از یک مخزن عمومی که برای همه قابل دسترسی بود، استخراج کرد.
گوگل به والاستریت ژورنال گفت که جمنای مدت کوتاهی پس از ورود به محیطهای هدف متوجه شد از محدوده مجاز آزمایش فراتر رفته است و پس از آن اقدام بیشتری انجام نداد. سخنگوی ایرگولار نیز اعلام کرد که تمام آزمایشگاههای مرتبط در اواخر ژوئیه از این اتفاق مطلع شدند. با وجود این، مشخص نیست چرا با وجود تشخیص سریع جمنای مبنی بر عبور از محدوده تعیینشده، شناسایی حادثه یا اطلاعرسانی درباره آن به گوگل تا اواسط تابستان به طول انجامیده است.
مشکل از کجاست؟
سخنگوی ایرگولار در گفتوگو با ژورنال تاکید کرد که واکنش این شرکت سریع بوده و به اصلاحات مشخصی در سیستمهای آن منجر شده است. او بیان کرد که تمام مشکلات شناختهشده در سمت ایرگولار چند هفته پیش برطرف شدهاند. گوگل نیز به نیویورک تایمز اعلام کرد که بررسیها نشان داده جمنای در نهایت به درستی حمله سایبری را متوقف کرده و بنابراین این حادثه مصداق «ناهمترازی مدل» نبوده است. بر همین اساس، گوگل دلیلی برای اطلاعرسانی عمومی درباره این اتفاق ندیده است. هرچند، این موضع در حالی مطرح میشود که طبق گزارشها، گوگل در زمان وقوع حادثه اطلاعرسانی به مقامات فدرال آمریکا را اقدامی مهم تلقی کرده بود.
جک کیبل، مدیرعامل استارتآپ امنیت هوش مصنوعی کریدور در گفتوگو با والاستریت ژورنال گفت: «به نظر میرسد آنها تلاش میکنند برای توجیه حمله سایبری جمنای به هنجارهای شکلگرفته در زمینه افشای آسیبپذیری تکیه کنند، در حالی که با مسئلهای متفاوت روبهرو هستیم.» دسترسی غیرمجاز به اینترنت در آزمایشهای قبلی ایرگولار نیز نقش اصلی را در بروز این حوادث داشت. اگرچه اکنون به نظر میرسد ریشه مشکل بیشتر به خطاهای انسانی ساده و تکراری مربوط بوده است تا توانایی یا ابتکار ویژه مدلها، عاملهایی که موفق به خروج از محیط آزمایشی شدند، رفتارهایی غیرقابل پیشبینی و بالقوه خطرناک از خود نشان دادند.
برای نمونه، در آزمایش ایرگولار با کلود اوپوس 4.7 شرکت آنتروپیک، این عامل حتی پس از تشخیص اینکه هدف احتمالا یک سامانه واقعی است، حمله را متوقف نکرد. در آزمایش دیگری که ایرگولار برای OpenAI انجام داد و با حمله مشهور OpenAI به پلتفرم کدنویسی رقیب، یعنی Hugging Face ارتباطی نداشت، یکی از مدلها به یک وبسایت واقعی دسترسی پیدا کرد، اما همچنان تصور میکرد در محیطی شبیهسازیشده فعالیت میکند.
حتما بخوانید: مایکروسافت: آموزش هوش مصنوعی بزرگترین سرقت نیروی کار تاریخ است
نکته مهم این است که نمیتوان به سادگی تحلیل یک مدل هوش مصنوعی از اقدامات را به صورت مستقل راستیآزمایی کرد. نه گزارش مدل از فرایند استدلال و نه توضیحی که در ادامه درباره رفتار خود ارائه میدهد، از خطا و توهم مصون نیستند. در نتیجه، پژوهشگران در بسیاری از موارد ناچار هستند به این فرض اعتماد کنند که مدل درباره آنچه انجام داده است، اطلاعات ساختگی ارائه نمیکند.
هدر ادکینز، معاون مهندسی امنیت گوگل در بیانیهای به نیویورک تایمز گفت: «ما اطمینان حاصل کردیم که هر سه شرکت مرتبط از این اتفاق مطلع شدهاند و با شریک آموزشی خود درباره تغییراتی که اکنون در فرایندهای آزمایشی خود اعمال کردهاند، همکاری کردیم. این حوادث اهمیت آموزش مدلهای قدرتمند هوش مصنوعی را برای رفتار مسئولانه برجسته میکنند.»
