فهرست مطالب
شرکت OpenAI مجموعهای از سیاستهای امنیتی جدید را برای کنترل خطرهای احتمالی هنگام توسعه و آزمایش مدلهای هوش مصنوعی اجرا کرده است.
به گزارش سرویس هوش مصنوعی تکناک،این تدابیر بر نظارت دقیقتر بر فعالیت مدلها، تقویت جداسازی شبکه و افزایش سختگیریهای امنیتی برای مدلهای قدرتمندتر تمرکز دارند و پس از رخداد امنیتی Hugging Face اعلام شدهاند.
شرکت OpenAI اعلام کرد که با افزایش توانایی مدلهای هوش مصنوعی، خطرهای مربوط به توسعه و آزمایش داخلی آنها نیز افزایش پیدا میکند. به همین دلیل، این شرکت قصد دارد استانداردهای مربوط به نظارت، همراستاسازی و امنیت را متناسب با افزایش توانایی مدلها ارتقا دهد.
این سیاستها یکی از نخستین تغییرات عمومی در شیوههای ایمنی OpenAI پس از رخداد Hugging Face محسوب میشوند. جزئیات این رخداد در ۲۱ ژوئیه منتشر شد. نمایندگان OpenAI تأکید کردهاند که سیاستهای جدید مستقیماً در واکنش به این حادثه تدوین نشدهاند. قابلیتهای امنیت سایبری مدل آینده Astra و سرعت پیشرفت فناوری هوش مصنوعی نیز در تصمیم این شرکت نقش داشتهاند.
بیشتر بخوانید: وقتی هوش مصنوعی از کنترل خارج شد؛ داستان نفوذ به Hugging Face
01
از 02توقف موقت یادگیری تقویتی در OpenAI
OpenAI پس از رخداد Hugging Face، فرایند یادگیری تقویتی یا RL را برای مدت دو هفته متوقف کرد. این شرکت اکنون آموزش بسیاری از مدلهایی را که خطر کمتری دارند، دوباره آغاز کرده است. بااینحال، بزرگترین اجرای برنامهریزیشده یادگیری تقویتی برای مدل مرزی این شرکت همچنان متوقف باقی مانده است.
OpenAI قصد دارد پیش از آغاز دوباره این فرایند، آموزشها و ارزیابیهایی را در مقیاس کوچکتر انجام دهد. این آزمایشها برای بررسی رفتار مدل، اعتبارسنجی تدابیر حفاظتی و جمعآوری شواهد بیشتر درباره همراستایی مدل انجام میشوند.
Amelia Glaese، معاون بخش تحقیقات OpenAI، اعلام کرد که میزان سختگیری کنترلهای امنیتی با افزایش توانایی مدلها بیشتر خواهد شد. بر این اساس، بزرگترین و قدرتمندترین مدلهای این شرکت تحت شدیدترین سطح نظارت قرار خواهند گرفت.
Glaese گفت OpenAI الزامات و انتظارات مشخصی را برای توسعه ایمن تعیین کرده است و این الزامات براساس سطح خطری که هر مدل ایجاد میکند، تغییر خواهند کرد.
OpenAI پس از رخداد Hugging Face به دلیل ضعف در شیوههای امنیت شبکه با انتقادهایی مواجه شد. در جریان این حادثه، مدلها با نفوذ به ابزاری در شبکه که به اینترنت دسترسی داشت، توانستند از محیط آموزشی خود خارج شوند.
02
از 02نظارت بر فعالیت مدلها با هشدار ۳۰ دقیقهای
یکی از بخشهای سیاست جدید OpenAI، تقویت جداسازی شبکه است. این شرکت جزئیات فنی زیادی درباره این تغییرات منتشر نکرده، اما اعلام کرده است که نفوذ به یک بار کاری یا سرویس پشتیبان نباید بهتنهایی امکان دسترسی غیرمجاز به اینترنت یا دیگر شبکههای داخلی را فراهم کند.
مهمترین تدبیر حفاظتی جدید OpenAI به سامانه نظارت بر فعالیت مدلها مربوط میشود. این سامانه اقدامات ابزارها، ردپاهای استدلالی در دسترس و گزارشهای فعالیت را بررسی میکند تا رفتارهای غیرمجاز احتمالی را شناسایی کند. OpenAI قصد دارد پس از شناسایی فعالیت نگرانکننده، حداکثر ظرف ۳۰ دقیقه هشدار صادر کند.
مرتبط: دستگاههای هوش مصنوعی OpenAI به زودی معرفی می شوند
اجرای چنین سامانهای هزینه پردازشی قابلتوجهی نیز خواهد داشت. OpenAI برآورد کرده است که بار پردازشی سامانه نظارتی تقریباً معادل ۲۰ درصد توان پردازشی فرایندی باشد که تحت نظارت قرار میگیرد.
این شرکت وعده داده است جزئیات فنی بیشتری درباره نحوه عملکرد سامانه نظارتی خود را در یک پست وبلاگی آینده منتشر کند. تحلیل رسمی OpenAI درباره رخداد Hugging Face و جزئیات مربوط به عوامل شکلگیری این حادثه نیز هنوز منتشر نشده است.
سیاستهای جدید نشان میدهند که OpenAI قصد دارد سطح کنترلهای امنیتی را متناسب با توانایی مدلهای آینده افزایش دهد. در این رویکرد، مدلهایی که قابلیتهای پیشرفتهتر و خطر بالقوه بیشتری دارند، پیش از ورود به مراحل گستردهتر آموزش و آزمایش باید از ارزیابیها و کنترلهای امنیتی سختگیرانهتری عبور کنند.
