سرویس AI Crawl Control کلودفلر به وبسایت‌ها امکان می‌دهد تا ربات‌های هوش مصنوعی را مسدود یا دسترسی آنها را با مجوز کنترل کنند.
به گزارش تکناک، کلودفلر روز گذشته اعلام کرد که سرویس جدید AI Crawl Control خود را به‌طور عمومی در دسترس همه مشتریان اشتراکی قرار داده است. این ابزار که نسخه بازطراحی‌شده AI Audit محسوب می‌شود، کنترل مستقیم مالکان وبسایت‌ها بر دسترسی سیستم‌های هوش مصنوعی به محتوایشان را فراهم می‌کند.
در ماه‌های اخیر، اسکرپ‌کردن محتوا برای آموزش مدل‌های هوش مصنوعی بسیار رایج شده است؛ زیرا چت‌بات‌های LLM محبوب‌تر می‌شوند. جمع‌آوری بدون اجازه و جبران داده‌ها باعث ایجاد فشار روی افراد و شرکت‌هایی شده است که محتوا را میزبانی می‌کنند. این مسئله بر بازیگران بزرگ مانند ردیت تأثیر گذاشته است که علیه آنتروپیک به‌دلیل آموزش مدل Claude براساس پست‌های خود شکایت کرده است.
نئووین می‌نویسد که ماه گذشته، کلودفلر در بتای خصوصی قابلیت دریافت هزینه از عامل‌های هوش مصنوعی برای خزیدن در وبسایت‌ها را معرفی کرده بود. این ویژگی از کد پاسخ HTTP 402 با معنای «پرداخت مورد نیاز است» استفاده می‌کرد. حال با نسخه جدید، کاربران می‌توانند ربات‌های منفرد را مسدود و در صورت تمایل، پاسخ سفارشی با کد ۴۰۲ ارسال کنند. برای مثال، ربات‌ها ممکن است پیامی مانند «به‌منظور مجوزدادن این محتوا برای آموزش هوش مصنوعی، لطفاً به تیم همکاری‌های ما ایمیل بزنید» دریافت کنند.
کلودفلر اعلام کرده است که سرویس AI Crawl Control را به‌دلیل نیازهای متفاوت مشتریان ارائه می‌دهد. برخی از مشتریان می‌خواهند محتوای خود را برای کسب درآمد مجوز دهند؛ اما خزنده‌ها نمی‌دانند چگونه با آنها ارتباط برقرار کنند. این در‌حالی است که برخی دیگر ترجیح می‌دهند ربات‌ها را به‌طور کامل مسدود کنند. شرکت سازنده هشدار داده است که مسدودکردن کامل ترافیک می‌تواند فرصت‌های احتمالی برای توافقات تجاری را از بین ببرد.
کلودفلر اعلام کرده است که در آینده پارامترهای بیشتری به پاسخ ۴۰۲ اضافه خواهد شد تا خزنده‌ها بتوانند داده‌های ساختاریافته‌ای درباره ارزش محتوا و میزان به‌روزرسانی آن و شرایط مجوز مشاهده کنند. این اقدام می‌تواند نقش مهمی در مدیریت دسترسی سیستم‌های هوش مصنوعی به محتوای وب ایفا کند و مالکان وبسایت‌ها را در موقعیت بهتری برای تصمیم‌گیری درباره نحوه استفاده از داده‌هایشان قرار دهد.
