فهرست مطالب
شرکت کانادایی هوش مصنوعی Cohere روز دوشنبه مدعی شد که در جریان یک آزمایش معمول امنیت سایبری، مدل Qwen علی‌بابا تلاش کرده است فایلی را به سروری در پکن ارسال کند.
به گزارش سرویس هوش مصنوعی تکناک، این در شرایطی است که مدل در یادداشت‌های استدلالی خود اعلام کرده بود از هیچ ابزار خارجی استفاده نخواهد کرد.
بیشتر بخوانید: چت‌جی‌پی‌تی در حال ساخت پروفایل های روان‌شناختی دقیق از کاربران است
این رویداد در ابتدا نگرانی‌هایی را درباره نقض یکی از وعده‌های کلیدی مدل‌های دارای وزن‌های باز برانگیخت. اینکه اجرای این مدل‌ها روی زیرساخت اختصاصی سازمان‌ها، داده‌ها را در محیط داخلی آنها نگه می‌دارد.
با وجود این، نگرانی‌های اولیه درباره احتمال جاسوسی سازمانی به سرعت کاهش یافت. پژوهشگران با کم‌اهمیت دانستن این تهدید گفتند که رفتار مشاهده‌شده احتمالا از محیط‌های آموزشی آشفته و نامنظم ناشی شده است؛ محیط‌هایی که می‌توانند مدل‌ها را به انجام اقداماتی خارج از دستورالعمل‌های تعیین‌شده سوق دهند، نه اینکه نشان‌دهنده تلاش عامدانه برای انتقال مخفیانه اطلاعات حساس به چین باشند.
جزئیات آزمایش مدل Qwen علی‌بابا
ماجرا روز جمعه و در جریان ارزیابی امنیتی مدل Qwen3.8-Flash-Next، از جدیدترین مدل‌های هوش مصنوعی علی‌بابا آغاز شد؛ آزمایشی که طی آن از مدل خواسته بودند قانونی برای شناسایی دانلود بدافزارها بنویسد. طبق توضیحات منتشرشده در وبلاگ Cohere، مدل در استدلال مکتوب خود اعلام کرده بود که از ابزارهای خارجی استفاده نخواهد کرد. با وجود این، در مرحله بعد تلاش کرد یک رشته متنی آزمایشی را به سروری خارجی ارسال کند؛ اقدامی که محیط ایزوله امنیتی پیش از اجرا مسدود کرد.
شرکت Cohere اعلام کرد که نمی‌تواند با قطعیت تشخیص دهد این رفتار نتیجه تصمیمی عمدی بوده یا بازمانده‌ای از فرایند آموزش مدل است. ایوان ژانگ، هم‌بنیان‌گذار Cohere، درباره اختلاف‌نظرها بر سر نیت مدل توضیح داد که این شرکت نیز هنگام آموزش مدل‌های خود در شبیه‌سازها با رفتارهای غیرمنتظره‌ای مواجه شده است.
حتما بخوانید: سوئد استفاده از ChatGPT و کلود را ممنوع کرد
ژانگ گفت: «تعیین قصد یا انگیزه واقعا دشوار است. ما ردپاهای فعالیت مدل‌های خود را بررسی کرده‌ایم، شاهد دور زدن سازوکارهای پاداش بوده‌ایم و گاهی مدل‌ها برای عبور از محدودیت‌های محیط ایزوله خود، راهکارهای بسیار خلاقانه‌ای پیدا می‌کنند.» دور زدن سازوکار پاداش به وضعیتی گفته می‌شود که مدل برای کسب امتیاز، راه میان‌بری پیدا می‌کند و بدون انجام وظیفه مطابق با هدف اصلی، پاداش مورد نظر را به دست می‌آورد.
شرکت‌هایی مانند علی‌بابا برای آموزش مدل‌های هوش مصنوعی به انجام مستقل اقدامات، آنها را در هزاران محیط شبیه‌سازی‌شده تمرین می‌دهند؛ محیط‌هایی که می‌توان آنها را به شبیه‌ساز پرواز برای نرم‌افزار تشبیه کرد. مدل با تکمیل هر وظیفه در این محیط‌ها پاداش می‌گیرد و به‌تدریج الگوهای رفتاری خاصی را می‌آموزد. اگر این محیط‌های آموزشی به‌طور معمول فایل‌ها را روی سرورهای ابری علی‌بابا ذخیره کنند، مدل ممکن است این الگو را یاد بگیرد و ذخیره فایل‌ها روی همان سرورها را به رفتاری پیش‌فرض تبدیل کند.
مقررات مدل‌های وزن‌باز
در مقابل، منتقدان مطرح کردند که شیوه بررسی شرکت Cohere نیز ممکن است در بروز رفتار مشاهده‌شده مدل Qwen علی‌بابا نقش داشته باشد؛ به‌عبارت دیگر، روش آزمایش احتمالا مدل را به سمت تلاش برای ارسال فایل هدایت کرده است، نه اینکه میزان وقوع خودجوش این رفتار را در Qwen اندازه‌گیری کند.
شرکت Cohere برای بررسی علت تلاش مدل برای بارگذاری فایل، بخش ابتدایی یک دستور شبکه‌ای را در اختیار آن قرار داد و از مدل خواست ادامه دستور را تکمیل کند. دستور شبکه‌ای فرمانی است که یک رایانه را به اتصال به رایانه‌ای دیگر هدایت می‌کند. از آنجا که مدل در طول آموزش هزاران دستور شبکه‌ای معمول را پردازش کرده بود، رفتاری شبیه یک سامانه تکمیل خودکار پیشرفته نشان داد و نشانی‌های اینترنتی را تکمیل کرد که برخی از آنها به سرورهای علی‌بابا اشاره داشتند. با وجود این، شرکت Cohere تاکید کرد که تلاش اولیه برای ارسال فایل بدون چنین راهنمایی انجام شده بود؛ هرچند این رفتار به‌ندرت رخ می‌دهد.
پس از درخواست توسعه‌دهندگان برای ارائه شواهد بیشتر، Cohere شامگاه دوشنبه داده‌های خام ثبت‌شده از آزمایش‌ها را در پلتفرم Hugging Face منتشر کرد. همچنین این شرکت اسکریپتی ارائه داد تا سایر پژوهشگران بتوانند رفتار مورد بحث را به‌طور مستقل بازتولید و بررسی کنند. یکی از افرادی که در ابتدا نسبت به این ادعا تردید داشت، پس از بررسی داده‌های منتشرشده، شواهد را برای این نتیجه قانع‌کننده دانست که Qwen قادر است نشانی‌های اینترنتی مشکوک ایجاد کند. با وجو این، او هیچ مدرکی نیافت که از تعبیه عمدی یک درِ پشتی توسط علی‌بابا یا تلاش آگاهانه مدل برای پنهان کردن نیت خود حکایت داشته باشد.
برای مطالعه بیشتر: مدل هوش مصنوعی Terra به نسخه GPT-6.1 ارتقا یافت
این رویداد در بحبوحه تصمیم‌گیری دولت‌ها درباره نحوه مواجهه با صنعت هوش مصنوعی چین رخ داده است. هفته گذشته، وزارت امنیت داخلی آمریکا به سازمان‌های غیرنظامی دولت فدرال دستور داد محصولات دیپ‌سیک، شرکت چینی فعال در حوزه هوش مصنوعی را از سامانه‌های خود حذف کنند.
شرکت Cohere در مطلب وبلاگی خود از دولت‌ها خواست مشخص کنند که آیا محدودیت‌های اعمال‌شده بر هوش مصنوعی چینی، مدل‌هایی را نیز در بر می‌گیرد که روی رایانه‌های دولتی اجرا می‌شوند یا خیر. ژانگ تاکید کرد: «من خواستار مقررات‌گذاری کامل برای مدل‌های دارای وزن‌های باز نیستم.» او در ادامه گفت که سازمان‌ها باید با مدل‌های باز همانند هر نرم‌افزاری برخورد کنند که از اینترنت دانلود می‌شود.
در نهایت، این مناقشه می‌تواند به سود Cohere تمام شود؛ شرکتی که مدل‌های هوش مصنوعی خود را به دولت‌ها عرضه می‌کند و در صورت افزایش بدبینی مقام‌ها نسبت به جایگزین‌های رایگان چینی، ممکن است فرصت بیشتری برای گسترش کسب‌وکار خود به دست آورد.
