کلودفلر دسترسی خزنده‌های وب را محدود می‌کند

01

از 01

ظهور هوش مصنوعی و خزنده‌های وب

در گذشته، ترافیک وب به‌عنوان شاخصی برای بازدید انسانی و درآمد تبلیغاتی یا اشتراکی تلقی می‌شد، اما ظهور مدل‌های هوش مصنوعی که به‌صورت نماینده کاربران به استخراج اطلاعات می‌پردازند، این مدل اقتصادی را دگرگون کرده است. سیاست جدید کلودفلر تلاشی برای بازتنظیم این رابطه میان ناشران محتوا و شرکت‌های هوش مصنوعی است.

بر اساس این اعلام، از ۱۵ سپتامبر ۲۰۲۶، وب‌سایت‌های جدید و مشتریان تازه کلودفلر به‌صورت پیش‌فرض اجازه خزیدن برای اهداف جست‌وجو را خواهند داشت، اما استفاده از محتوا برای آموزش مدل‌ها و کاربردهای عاملی در صفحات دارای تبلیغات مسدود خواهد بود. همچنین خزنده‌های وب ترکیبی که امکان تفکیک کاربری برای ناشران فراهم نمی‌کنند، به‌صورت پیش‌فرض در صفحات دارای تبلیغات مسدود می‌شوند. حساب‌های رایگان نیز در صورت عدم انصراف پیش از مهلت تعیین‌شده، تحت همین سیاست قرار خواهند گرفت.

در چارچوب این تغییرات، کلودفلر نسخه جدیدی از قابلیت «Pay Per Crawl» را که در سال ۲۰۲۵ معرفی شده بود، تحت عنوان «Pay Per Use» بازطراحی کرده است. در این مدل، به‌جای پرداخت بر اساس میزان خزیدن صفحات، درآمد ناشران زمانی محقق می‌شود که محتوای آن‌ها در پاسخ‌های تولیدشده توسط چت‌بات‌های هوش مصنوعی مورد استفاده قرار گیرد. کلودفلر در حال حاضر تنها همکاری خود را با Ceramic.AI و You.com اعلام کرده، اما انتظار می‌رود با افزایش پذیرش مشتریان، سایر شرکت‌های هوش مصنوعی نیز به این اکوسیستم بپیوندند.

بیشتر بخوانید: گزارش کلودفلر: در سال ۲۰۲۵، اپل سومین سرویس اینترنتی محبوب جهان شد

این سیاست همچنین به‌طور غیرمستقیم ساختار دسترسی گوگل به داده‌ها را هدف قرار می‌دهد. طبق اعلام کلودفلر، بزرگ‌ترین موتور جست‌وجوی جهان نسبت به رقبا دسترسی تقریبا دو برابری به داده‌ها دارد، زیرا تفکیک میان ایندکس جست‌وجو و استفاده آموزشی در مدل‌های هوش مصنوعی خود را برای ناشران به‌طور کامل ممکن نمی‌کند. خزنده‌های وب اصلی گوگل، Googlebot، هم برای ایندکس جست‌وجو و هم برای تغذیه مدل جمنای و قابلیت‌هایی مانند AI Overviews و AI Mode استفاده می‌شود.

اگرچه گوگل خزنده‌های وب جداگانه Google-Extended را برای ایندکس غیرآموزشی ارائه کرده، اما برای ناشرانی که خواهان حضور در نتایج هوش مصنوعی هستند ولی مایل به استفاده آموزشی از محتوای خود نیستند، گزینه تفکیک‌پذیر مستقلی وجود ندارد. سیاست جدید کلودفلر در عمل فشار ساختاری بر بازیگران دارای خزنده‌های چندمنظوره برای تغییر معماری جمع‌آوری داده اعمال می‌کند.