کلودفلر اعلام کرده است که از این پس خزنده‌های وبی که هم برای جست‌وجو و هم برای آموزش مدل‌های هوش مصنوعی استفاده می‌شوند را به‌طور پیش‌فرض محدود می‌کند تا دسترسی شرکت‌های AI به داده‌های وب را کنترل و شفاف‌تر کند.
به‌گزارش سرویس اینترنت و شبکه تکناک، کلودفلر اعلام کرده است قصد دارد به‌صورت پیش‌فرض، خزنده‌های وب با کارکرد دوگانه را مسدود کند؛ یعنی ربات‌هایی که هم برای ایندکس‌گذاری موتورهای جست‌وجو استفاده می‌شوند و هم به‌عنوان عامل‌های هوش مصنوعی برای آموزش مدل‌ها یا انجام وظایف خودمختار به کار می‌روند.
این شرکت پیش‌تر امکان غیرفعال‌سازی اختیاری اسکرپ داده‌ها برای آموزش مدل‌های هوش مصنوعی را در اختیار وب‌سایت‌ها قرار داده بود، اما اکنون رویکرد خود را به سمت مدل پیش‌فرض دفاعی تغییر داده است.
خبر پیشنهادی: پدر اینترنت پس از ۲۰ سال حضور در گوگل بازنشسته می شود
مت‌یو پرینس، مدیرعامل و هم‌بنیان‌گذار کلودفلر، با اشاره به تغییر ماهیت ترافیک اینترنت اظهار داشت که بخش عمده‌ای از آن دیگر انسانی نیست و برای شکل‌گیری یک اکوسیستم پایدار، باید مداخلات ساختاری سریع‌تری انجام شود. به گفته او، ابزارها و همکاری‌های جدید کلودفلر امکان شفافیت بیشتر و فرصت‌های تجاری برای ناشران وب فراهم می‌کند و در عین حال به شرکت‌های هوش مصنوعی دارای سیاست‌های شفاف در استفاده از ربات‌ها نیز سود می‌رساند. هدف این سیاست، تفکیک کارکرد خزنده‌های وب میان «جست‌وجو» و «آموزش/عامل‌محور» عنوان شده است.
مرتبط: کلودفلر هزینه انقلاب هوش مصنوعی را با سقوط ارزش سهام و تعدیل نیروهای خود پرداخت
ظهور هوش مصنوعی و خزنده‌های وب
در گذشته، ترافیک وب به‌عنوان شاخصی برای بازدید انسانی و درآمد تبلیغاتی یا اشتراکی تلقی می‌شد، اما ظهور مدل‌های هوش مصنوعی که به‌صورت نماینده کاربران به استخراج اطلاعات می‌پردازند، این مدل اقتصادی را دگرگون کرده است. سیاست جدید کلودفلر تلاشی برای بازتنظیم این رابطه میان ناشران محتوا و شرکت‌های هوش مصنوعی است.
بر اساس این اعلام، از ۱۵ سپتامبر ۲۰۲۶، وب‌سایت‌های جدید و مشتریان تازه کلودفلر به‌صورت پیش‌فرض اجازه خزیدن برای اهداف جست‌وجو را خواهند داشت، اما استفاده از محتوا برای آموزش مدل‌ها و کاربردهای عاملی در صفحات دارای تبلیغات مسدود خواهد بود. همچنین خزنده‌های وب ترکیبی که امکان تفکیک کاربری برای ناشران فراهم نمی‌کنند، به‌صورت پیش‌فرض در صفحات دارای تبلیغات مسدود می‌شوند. حساب‌های رایگان نیز در صورت عدم انصراف پیش از مهلت تعیین‌شده، تحت همین سیاست قرار خواهند گرفت.
در چارچوب این تغییرات، کلودفلر نسخه جدیدی از قابلیت «Pay Per Crawl» را که در سال ۲۰۲۵ معرفی شده بود، تحت عنوان «Pay Per Use» بازطراحی کرده است. در این مدل، به‌جای پرداخت بر اساس میزان خزیدن صفحات، درآمد ناشران زمانی محقق می‌شود که محتوای آنها در پاسخ‌های تولیدشده توسط چت‌بات‌های هوش مصنوعی مورد استفاده قرار گیرد. کلودفلر در حال حاضر تنها همکاری خود را با Ceramic.AI و You.com اعلام کرده، اما انتظار می‌رود با افزایش پذیرش مشتریان، سایر شرکت‌های هوش مصنوعی نیز به این اکوسیستم بپیوندند.
بیشتر بخوانید: گزارش کلودفلر: در سال ۲۰۲۵، اپل سومین سرویس اینترنتی محبوب جهان شد
این سیاست همچنین به‌طور غیرمستقیم ساختار دسترسی گوگل به داده‌ها را هدف قرار می‌دهد. طبق اعلام کلودفلر، بزرگ‌ترین موتور جست‌وجوی جهان نسبت به رقبا دسترسی تقریبا دو برابری به داده‌ها دارد، زیرا تفکیک میان ایندکس جست‌وجو و استفاده آموزشی در مدل‌های هوش مصنوعی خود را برای ناشران به‌طور کامل ممکن نمی‌کند. خزنده‌های وب اصلی گوگل، Googlebot، هم برای ایندکس جست‌وجو و هم برای تغذیه مدل جمنای و قابلیت‌هایی مانند AI Overviews و AI Mode استفاده می‌شود.
اگرچه گوگل خزنده‌های وب جداگانه Google-Extended را برای ایندکس غیرآموزشی ارائه کرده، اما برای ناشرانی که خواهان حضور در نتایج هوش مصنوعی هستند ولی مایل به استفاده آموزشی از محتوای خود نیستند، گزینه تفکیک‌پذیر مستقلی وجود ندارد. سیاست جدید کلودفلر در عمل فشار ساختاری بر بازیگران دارای خزنده‌های چندمنظوره برای تغییر معماری جمع‌آوری داده اعمال می‌کند.
