فهرست مطالب
شرکت OpenAI به دلیل مشاهده قابلیتهای سایبری نگرانکننده در مدل Astra، آموزش برخی از قدرتمندترین مدلهای هوش مصنوعی خود را کند یا متوقف کرده است.
به گزارش سرویس هوش مصنوعی تکناک، این شرکت چندروز پیش مدل GPT-5.6 Cyber را معرفی کرد و همزمان برنامه دفاع سایبری Daybreak را با ارائه سطوح دسترسی Red و Blue توسعه داد. این برنامه با هدف کمک به توسعهدهندگان در کشف آسیبپذیریها، بازبینی امنیتی کد، تحلیل بدافزار، پاسخگویی به رخدادهای امنیتی، اعتبارسنجی وصلههای امنیتی و سایر وظایف مرتبط با امنیت سایبری طراحی شده است.
بیشتر بخوانید: اوپنایآی از نسخه ChatGPT ویژه نوجوانان رونمایی کرد
اوایل ماه جاری نیز گزارش شد که OpenAI پس از آنکه ارزیابیهای مقدماتی، قابلیتهای سایبری نگرانکنندهای را در مدل Astra نشان دادند، کنترلهای امنیتی سختگیرانهتری برای این مدل اعمال کرده است. اکنون OpenAI تایید کرده است که قصد دارد «چارچوب آمادگی» خود را بهروزرسانی کند تا ریسکهایی را که ممکن است در جریان فرایند آموزش مدل ایجاد شوند نیز پوشش دهد؛ در حالی که تمرکز این چارچوب پیشتر بر ریسکهای زمان استقرار مدل بود. همچنین این شرکت جزئیات بیشتری از سازوکارهای حفاظتی جدیدی ارائه کرده که در سراسر زیرساختهای تحقیقاتی خود به کار گرفته است.
01
از 02کاهش سرعت توسعه هوش مصنوعی OpenAI
مرتبط: تدابیر امنیتی جدید OpenAI برای کنترل مدلهای قدرتمند هوش مصنوعی
مهمترین تحول، کاهش موقت سرعت توسعه قدرتمندترین مدلهای هوش مصنوعی OpenAI است؛ اقدامی که با هدف آمادهسازی زیرساختهای امنیتی برای مدلهایی با قابلیتهای سایبری هرچه پیشرفتهتر انجام شده است. در همین راستا، آموزش تقویتی مدلهای جدیدی که برای استقرار آماده میشدند، به مدت دو هفته متوقف شد. با افزایش قابلیتهای سایبری مدلها نظیر مدل Astra، این شرکت قابلیتهای ایزولهسازی پیشرفتهتری را برای بارهای کاری پیادهسازی کرده است که کد تولیدشده توسط مدل را اجرا میکنند. برای بارهای کاری پرخطر نیز سطح جداسازی شبکه افزایش یافته، دسترسیهای دائمی و غیرضروری کاهش پیدا کرده و سرویسهای اشتراکی حذف شدهاند که احتمال آسیبپذیری آنها وجود داشت. بخشی از بارهای کاری مربوط به آموزش و ارزیابی Astra با استفاده از این کنترلهای امنیتی جدید دوباره فعال شدهاند با وجود این، تعداد قابل توجهی از آنها همچنان متوقف هستند و تا زمان انتقال به محیطهایی که الزامات امنیتی جدید را رعایت میکنند، از سر گرفته نخواهند شد.
02
از 02نظارت بر قابلیتهای مدل Astra
همچنین OpenAI سامانه نظارت بر فعالیت مدلها را توسعه داده است. این سامانه با استفاده از طبقهبندهایی، فعالیت مدل را در هر توکن نمونهبرداریشده بررسی میکند و در صورت شناسایی رفتار مشکوک، آن را برای بررسی بیشتر به سامانههای خودکار تحقیقاتی با قابلیت بالاتر ارجاع میدهد. این سازوکار بهطور مشخص برای شناسایی تلاشهای مدل جهت دسترسی غیرمجاز، سرقت داده، انجام اقدامات مخرب یا تخریبگر و دور زدن تدابیر امنیتی طراحی شده است. البته اجرای چنین سطحی از نظارت هزینه محاسباتی قابلتوجهی دارد؛ شرکت OpenAI میگوید که این فرایند تقریبا ۲۰ درصد از توان محاسباتی استنتاجی مورد نظارت را مصرف میکند.
برای مطالعه بیشتر: آنتروپیک از راز واترمارکهای نامرئی کلود پرده برداشت
در نهایت، OpenAI تاکید کرده است که حادثه امنیتی اخیر میان این شرکت و Hugging Face بهتنهایی عامل اتخاذ این تدابیر سختگیرانه نبوده است. آزمایشهای داخلی نشان دادهاند که قابلیتهای مدل Astra ممکن است بر اساس معیارهای «چارچوب آمادگی» OpenAI، به آستانه «قابلیت سایبری بحرانی» برسد؛ موضوعی که به گفته این شرکت، مستلزم اعمال کنترلهای امنیتی بسیار جدیتری در فرایند توسعه و آموزش مدل است.
