فهرست مطالب
شرکت OpenAI گزارش رسمی خود را درباره رخداد امنیتی Hugging Face منتشر کرد و جزئیات نفوذ هوش مصنوعی و برنامههای جدید را برای مقابله با تهدیدهای آینده توضیح داد.
به گزارش سرویس هوش مصنوعی تکناک، این گزارش برای نخستین بار تصویر دقیقتری از زنجیره اتفاقاتی ارائه میدهد که در نهایت باعث شد یک مدل هوش مصنوعی از محیط آزمایشی خود خارج شود و یکی از پیچیدهترین حوادث امنیت سایبری مرتبط با مدلهای هوش مصنوعی شکل بگیرد. این گزارش که بیش از یک ماه پس از انتشار عمومی خبر حادثه منتشر شده است، مجموعهای از چندین نفوذ امنیتی مجزا را بررسی میکند. شرکت OpenAI در توضیح علت وقوع این رخداد، آن را نتیجه همزمانی چند عامل نادر و غیرمنتظره میداند.
بیشتر بخوانید: گوگل از مدل صوتی جدید Gemini رونمایی کرد؛ حذف خودکار مکثها و کلمات اضافی
اگرچه بخشهایی از این حادثه پیشتر در ارائه کنفرانس امنیتی Black Hat در تاریخ ۶ اوت منتشر شده بود، اما گزارش رسمی OpenAI جزئیات جامعتری درباره نحوه آغاز آزمایش، عملکرد مدلها و اقداماتی که برای جلوگیری از تکرار چنین رخدادهایی در نظر گرفته شده است ارائه میکند. این اقدامات شامل توسعه سیستمهای پیشرفتهتر برای نظارت بر زنجیره افکار مدلها و توقف سریع عاملهای هوش مصنوعی خارج از کنترل است.
بررسی مستقل رخداد امنیتی Hugging Face
دو موسسه تحقیقاتی METR و Redwood Research نیز به صورت مستقل رفتار مدلها را در این حادثه بررسی کردهاند و قرار است گزارشهای جداگانه خود را درباره این رخداد منتشر کنند. بر اساس توضیحات OpenAI، یک مدل این شرکت در جریان آزمایش با مسئلهای غیرقابل حل مواجه شد و برای دستیابی به هدف تعیینشده، مجموعهای از آسیبپذیریهای ناشناخته را به هم متصل کرد تا محدودیتهای امنیتی را دور بزند. این مدل ابتدا با نفوذ به ابزار مدیریت بسته Artifactory امکان دسترسی به اینترنت را به دست آورد و سپس به سیستمهای مختلفی در Hugging Face و دیگر شرکتهای ارائهدهنده خدمات دسترسی پیدا کرد.
مرتبط: آلاباما هک Hugging Face توسط OpenAI را بررسی میکند
همچنین گزارش جدید اطلاعات بیشتری درباره مدل درگیر در این حادثه منتشر میکند. این مدل از خانوادهای مشابه مدل Astra شرکت OpenAI بوده، اما شرکت تاکید کرده که نمونه مورد آزمایش یک مدل مستقل با فرایند آموزش پس از توسعه متفاوت بوده است؛ مرحلهای که نقش مهمی در شکلگیری رفتار نهایی مدل دارد. از آنجا که هدف این آزمایش بررسی حداکثر تواناییهای مدل بود، سیستمهای محدودکننده معمول که در نسخههای عملیاتی برای جلوگیری از فعالیتهای سایبری پرخطر استفاده میشوند، در این محیط فعال نبودند. شرکت OpenAI اعلام کرده است که چنین آزمایشهایی برای شناخت تواناییهای واقعی مدلها و طراحی لایههای امنیتی مناسب ضروری هستند.
برنامههای امنیتی OpenAI
همچنین OpenAI جزئیات بیشتری از برنامههای امنیتی آینده خود منتشر کرده است. این شرکت قصد دارد نظارت بر «زنجیره افکار» عاملهای هوش مصنوعی را افزایش دهد؛ قابلیتی که امکان بررسی روند تصمیمگیری کوتاهمدت مدلها را فراهم میکند. این سیستم با سازوکارهای نظارتی ۲۴ ساعته و ابزارهای جدید برای متوقف کردن پردازشهای مشکوک ترکیب خواهد شد.
برای مطالعه بیشتر: ۱۰ تریلیون پارامتر در یک مدل OpenAI؛ Bel رسما رقیب مغز انسان میشود
شرکت OpenAI در پایان گزارش خود اعلام کرده که هدف این تغییرات، افزایش سرعت و دقت شناسایی تهدیدها، از رفتارهای غیرعادی در زیرساختها گرفته تا نشانههای نگرانکننده در عملکرد مدلها است. همچنین این شرکت تاکید کرده است که اگر سیستم فعلی نظارت بر زنجیره افکار هنگام وقوع حادثه فعال بود، میتوانست فعالیتهای مشکوک اولیه را شناسایی کند و بیش از یک روز پیش از رخداد امنیتی Hugging Face، تیم امنیتی را در جریان قرار دهد.
