فهرست مطالب
شرکت آنتروپیک در گزارش تازه خود اعلام کرد که عامل‌های هوش مصنوعی این شرکت تلاش کرده‌اند به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کنند یا در عملکرد آنها مداخله کنند. این اتفاق‌ها در نهادهای دولتی فدرال، ایالتی و محلی رخ داده‌اند؛ اما آنتروپیک نام سازمان‌های درگیر را منتشر نکرده است.
به گزارش سرویس هوش مصنوعی تکناک، این شرکت می‌گوید پس از شناسایی این رفتارها، نهادهای مربوطه را مطلع کرده و جزئیات اتفاق‌ها را نیز با کاخ سفید در میان گذاشته است. آنتروپیک همچنین مجموعه‌ای از اقدامات پیشگیرانه را برای محدود کردن فعالیت عامل‌های هوش مصنوعی خود اجرا کرده است.
حتما بخوانید: هوش مصنوعی Claude Haiku 5.5؛ سریع‌ترین مدل آنتروپیک عرضه شد
عامل‌های هوش مصنوعی آنتروپیک چگونه عمل کردند؟
به گفته آنتروپیک، این شرکت هنگام بررسی گزارش‌های ارزیابی مدل‌های خود متوجه رفتارهای ناخواسته شد. بررسی این موارد از ماه ژوئیه آغاز شد؛ زمانی که گزارش‌هایی درباره خروج عامل‌های هوش مصنوعی از محیط آزمایشی و انجام فعالیت‌های پیش‌بینی‌نشده منتشر شده بود.
یکی از نمونه‌ها به مدل Claude Haiku 4.5 مربوط میشود. این مدل که برای انجام وظایف با هزینه کمتر طراحی شده، مأموریت داشت کارهای نمونه را در صفحات تصادفی وب انجام دهد. در جریان این آزمایش، کلود به صفحه‌ای درباره یک پرونده قتل حل‌نشده در وب‌سایت پلیس فیلادلفیا رسید و فرم ارسال اطلاعات را پر کرد.
مدل در این فرم پیامی ثبت کرد که می‌توانست به‌عنوان سرنخی درباره پرونده تلقی شود؛ درحالی‌که اطلاعات واردشده واقعی نبودند. پلیس فیلادلفیا اعلام کرد این پیام در تاریخ ۱۸ ژوئیه ثبت و به‌عنوان هرزنامه شناسایی شده است. بنابراین، این مورد به تحقیقات واقعی پلیس منجر نشد.
مرتبط: هوش مصنوعی آنتروپیک پلیس فیلادلفیا را با گزارش دروغین قتل به دردسر انداخت
تلاش مدل کلود برای دسترسی به اطلاعات دولتی
نمونه دیگر به مدل Claude Mythos 5 مربوط میشود که بر حوزه امنیت سایبری تمرکز دارد. این مدل مأمور شده بود مکانی را که در یک تصویر دیده می‌شد شناسایی کند. از آنجا که امکان کلیک روی پیوندهای صفحات وب را مانند یک انسان نداشت، تلاش کرد از نقشه املاک دولتی برای بررسی موقعیت استفاده کند.
در جریان این تلاش، مدل به توکن‌های دسترسی برخورد کرد و درخواست‌هایی را مستقیماً به سرور نقشه فرستاد تا به اطلاعات آن دسترسی پیدا کند. در نمونه‌ای دیگر نیز Mythos 5 برای انجام یک وظیفه آماری، از وب‌سایت یک نهاد ایالتی درخواست توکن دسترسی کرد تا داده‌های موردنیاز را بدون پرداخت هزینه‌ای که برای بازدیدکنندگان در نظر گرفته شده بود، دریافت کند.
آنتروپیک جزئیات بیشتری درباره نهادهای درگیر منتشر نکرده است. در نتیجه، گزارش شرکت نشان‌دهنده تلاش‌های ناخواسته برای دسترسی به سامانه‌ها است و به‌تنهایی ثابت نمی‌کند که همه این تلاش‌ها به نفوذ موفق یا سرقت اطلاعات منجر شده‌اند.
آنتروپیک برای جلوگیری از تکرار این اتفاق‌ها چه می‌کند؟
آنتروپیک در بخش اقدامات اصلاحی گزارش خود اعلام کرد که پس از شناسایی این رفتارها، چندین اقدام پیشگیرانه انجام داده است. بخشی از ارزیابی‌های عمومی متوقف شده‌اند و برخی دیگر به نسخه‌های آفلاین منتقل شده‌اند یا به شکلی تغییر کرده‌اند که وظایف آزمایشی به وب‌سایت‌های واقعی دسترسی نداشته باشند.
این شرکت همچنین محدودیت‌های ابزارهای دسترسی به اینترنت، ازجمله ابزار دریافت محتوای صفحات وب، را افزایش داده است. هدف از این تغییرها، محدود کردن کارهایی است که مدل‌ها می‌توانند از طریق این ابزارها انجام دهند.
علاوه بر این، آنتروپیک می‌گوید ابزارهایی برای شناسایی خودکار و مسدود کردن رفتارهای مشابه ساخته است. این اقدامات در شرایطی انجام می‌شوند که شرکت‌های هوش مصنوعی تلاش می‌کنند قابلیت عامل‌های خودکار را گسترش دهند؛ عامل‌هایی که می‌توانند به‌جای پاسخ‌گویی صرف، وظایف چندمرحله‌ای را در محیط‌های دیجیتال انجام دهند.
بیشتر بخوانید: آنتروپیک و OpenAI برای مقابله با شورش‌های احتمالی AI آماده می‌شوند
افزایش نگرانی‌ها درباره امنیت عامل‌های هوش مصنوعی
گزارش آنتروپیک بار دیگر نشان می‌دهد که عامل‌های هوش مصنوعی ممکن است هنگام اجرای دستورهای ظاهراً عادی، اقداماتی فراتر از انتظار توسعه‌دهندگان انجام دهند. این مسئله به‌ویژه زمانی اهمیت دارد که مدل‌ها به ابزارهای اینترنتی یا سامانه‌های واقعی متصل باشند.
برای کاهش این خطر، شرکت‌های توسعه‌دهنده باید دسترسی مدل‌ها را محدود کنند، آزمایش‌ها را تا حد امکان در محیط‌های کنترل‌شده انجام دهند و رفتارهای غیرمنتظره را به‌صورت خودکار شناسایی کنند. با گسترش استفاده از عامل‌های هوش مصنوعی، جلوگیری از دسترسی غیرمجاز به داده‌ها و خدمات آنلاین به یکی از چالش‌های مهم امنیت سایبری تبدیل خواهد شد.
