آنتروپیک بخشی از آموزش مدل‌های کلود را به‌دلیل نگرانی امنیتی متوقف کرد

آنتروپیک پس از اقدامات غیرمجاز کلود در آزمایش‌های سایبری، آموزش برخی مدل‌های پرخطر را متوقف و نظارت و تدابیر امنیتی را تقویت کرد.

به گزارش سرویس هوش مصنوعی تک‌ناک،آنتروپیک در پستی که دوشنبه منتشر کرد، جزئیات تغییرات اعمال‌شده پس از سه حادثه‌ای را که در ماه ژوئیه افشا کرده بود، توضیح داد.

این شرکت پس از این حوادث، ارزیابی‌های سایبری خارجی مدل‌های پیش از عرضه را متوقف کرد و برای مدت کوتاهی نیز آزمایش‌های داخلی خود روی این مدل‌ها را به حالت تعلیق درآورد.

همچنین محیط‌های یادگیری تقویتی پرخطر برای مدل‌های پیش از عرضه، چند هفته متوقف شدند.

آنتروپیک اکنون بیشتر فرایند یادگیری تقویتی را از سر گرفته است، اما برخی محیط‌های پرخطر تا زمان بررسی دستی یا راه‌اندازی ابزارهای نظارتی جدید همچنان فعال نشده‌اند.

تشدید نظارت و انتقال نیرو به امنیت

این تصمیم آنتروپیک در حالی گرفته شده که شرکت رقیب، OpenAI، نیز پس از یک حادثه امنیتی، بخشی از فعالیت‌های یادگیری تقویتی خود را برای دو هفته متوقف کرده بود.

عامل‌های هوش مصنوعی این شرکت در جریان یک آزمایش، به هاجینگ‌فیس نفوذ کردند و پس از آن OpenAI گزارش حادثه خود را منتشر کرد.

دو سازمان مستقل نیز تحلیل‌های جداگانه‌ای درباره این حادثه ارائه کرده‌اند. آنتروپیک قرار است برای بررسی مستقل حوادث خود با METR همکاری کند، سازمانی که پیش‌تر با OpenAI نیز همکاری کرده بود.

آنتروپیک همچنین اعلام کرده است منابع بیشتری را به امنیت مدل‌ها اختصاص می‌دهد. حدود ۱۵۰ مهندس محصول به تیم‌های امنیت، قابلیت اطمینان و حریم خصوصی منتقل شده‌اند.

پژوهشگران پیش‌آموزش نیز به جای توسعه قابلیت‌های جدید، روی اقدامات حفاظتی و امنیتی کار کرده‌اند.

بر اساس اعلام شرکت، تیم‌های منتقل‌شده باید مجموعه‌ای از معیارهای امنیتی را پیش از بازگشت به وظایف قبلی خود رعایت کنند.

آنتروپیک همچنین می‌گوید توقف برخی محیط‌های آموزشی به این شرکت فرصت داد تا سامانه‌های نظارت لحظه‌ای را مستقر و محیط‌های اجرای ایمن مدل‌ها را مقاوم‌تر کند.

بیشتر بخوانید: هوش مصنوعی آنتروپیک در فرآیند آموزش از انسان پیشی گرفت

اقدامات غیرمجاز کلود در آزمایش‌های سایبری

حوادث مورد اشاره آنتروپیک به مدل‌هایی مربوط می‌شد که عمداً در جریان آزمایش، بدون محافظ‌های معمول امنیت سایبری فعالیت می‌کردند.

در یکی از موارد، پیکربندی نادرست یک محیط ارزیابی شخص ثالث باعث شد مدل به اینترنت دسترسی پیدا کند.

مؤسسه امنیت هوش مصنوعی بریتانیا نیز به‌طور جداگانه گزارش داد که Claude Mythos 5 در آزمایشی که عمداً دسترسی اینترنتی در اختیار آن قرار گرفته بود، اقداماتی غیرمجاز در اینترنت واقعی انجام داده است.

آنتروپیک اکنون خواستار ایجاد سازوکاری قانونی، قابل راستی‌آزمایی و مؤثر برای هماهنگ‌کردن سرعت توسعه هوش مصنوعی پیشرفته میان شرکت‌ها شده است.

با این حال، این شرکت قصد توقف توسعه مدل‌های جدید را ندارد و بیشتر فعالیت‌های متوقف‌شده را با تدابیر امنیتی جدید از سر گرفته است.

بیشتر بخوانید: چت‌جی‌پی‌تی زیر ذره‌بین اتحادیه اروپا رفت