براساس داده‌های Hostinger، ربات GPT شرکت اوپن‌ای‌آی با ایندکس‌کردن ۴.۴ میلیون وب‌سایت و پوشش ۸۸ درصدی، اکنون پرکارترین خزنده وب جهان است و سلطه سنتی گوگل در کشف و ایندکس اطلاعات اینترنتی را به چالش کشیده است.
به گزارش تکناک، این ربات‌ها که بی‌سروصدا اینترنت را نقشه‌برداری می‌کنند، موتورهای پنهانی هستند که پشت کشف و ایندکس‌کردن اطلاعات در وب قرار دارند.
برای دهه‌ها، ربات گوگل سرعت و استاندارد نحوه‌ی کشف اطلاعات را تعیین می‌کرد، اما اکنون سلطه‌ی آن توسط خزنده‌های متمرکز بر هوش مصنوعی مانند OepnAI، Anthropic و Meta به چالش کشیده شده است؛ ربات‌هایی که با سرعتی بالا در حال گسترش دامنه‌ی فعالیت خود در سراسر وب باز هستند.
در مطالعه‌ی Hostinger که بر اساس تحلیل لاگ‌های دسترسی پنج میلیون وب‌سایت میزبانی‌شده انجام شده، مشخص شد ربات GPT به ۴.۴ میلیون وب‌سایت سر زده و به نرخ پوشش ۸۸ درصدی رسیده است. در مقابل، ربات گوگل با ۳.۹ میلیون وب‌سایت در رتبه‌ی دوم قرار گرفت که معادل پوشش ۷۸ درصدی است.
روند مذکور تنها به این دو ربات محدود نمی‌شود. دیگر خزنده‌های مبتنی بر هوش مصنوعی، از جمله ClaudeBot متعلق به Anthropic، ربات‌های داخلی متا و حتی اسکریپرهای تیک تاک، در مجموع روزانه حدود ۱.۴ میلیارد درخواست را در همین نمونه ثبت کرده‌اند. در مقایسه، بازیگران سنتی مانند بینگ، اپل و ابزارهای سئو مانند Ahrefs فعالیت بسیار کمتری داشته‌اند.
Hostinger توضیح می‌دهد که نرخ پوشش پایین‌تر الزاماً به‌معنای بی‌توجهی نیست، چرا که بسیاری از ربات‌ها به‌صورت چرخشی به سایت‌ها مراجعه می‌کنند تا از فشار بیش‌ازحد بر سرورها جلوگیری کنند. بااین‌حال، این پژوهش نشان می‌دهد که تقریباً ۸۰ درصد از ترافیک خزنده‌ها از شرکت‌های مستقر در ایالات متحده منشاء می‌گیرد؛ درحالی‌که سهم ربات‌های چینی حدود ۱۰ درصد است و باقی جهان سهم اندکی دارند.
به نقل از گیزموچاینا، این تمرکز جغرافیایی پرسش‌های جدیدی را مطرح می‌کند: چه کسانی واقعاً کنترل می‌کنند که ما چه می‌بینیم یا سیستم‌های هوش مصنوعی از چه چیزی یاد می‌گیرند؟ از آنجا که مدل‌های هوش مصنوعی برای آموزش و تولید محتوای تازه به داده‌های جدید وب تکیه دارند، شرکت‌های پشت این خزنده‌ها اکنون نفوذ بیشتری بر محتوایی دارند که در خلاصه‌سازی‌ها، پاسخ‌های جست‌وجو و خروجی‌های مولد در اینترنت ظاهر می‌شود.
Hostinger حتی ابزار ممیزی هوش مصنوعی جدیدی ساخته که به صاحبان وب‌سایت‌ها امکان می‌دهد مشخص کنند کدام ربات‌های AI اجازه‌ی دسترسی به سایتشان را دارند و کدام نه. درحالی‌که فرایند خزیدن در وب همچنان در حال تحول است، چالش اصلی در آینده یافتن تعادلی میان دسترسی آزاد، استفاده‌ی منصفانه و پایداری خواهد بود.
مسابقه برای ایندکس‌کردن وب هنوز به پایان نرسیده است، اما اکنون دیگر گوگل به‌تنهایی رهبر آن نیست.
