شرکت کلادفلر ، یکی از بزرگترین ارائهدهندگان زیرساخت اینترنت در جهان، با رونمایی از ابزاری تازه به نام AI Labyrinth رویکرد متفاوتی را برای مقابله با رباتهای خزنده وب (Crawler)در پیش گرفته است.
به گزارش تکناک، برخلاف روشهای سنتی که این رباتها را مسدود میکنند، کلادفلر آنها را به مسیری پرپیچوخم از صفحات ساختگی و بیارزش هدایت میکند؛ صفحاتی که بهکمک هوش مصنوعی تولید شدهاند و هدف آنها اتلاف منابع، کاهش سرعت و سردرگم کردن رباتهایی است که بهدنبال جمعآوری غیرمجاز داده برای آموزش مدلهای هوش مصنوعی هستند.
ورج مینویسد که در گذشته، مدیران وبسایتها با استفاده از فایل متنی robots.txt به رباتها اجازه دسترسی یا ممانعت از آن را میدادند. اما برخی شرکتهای فعال در حوزه هوش مصنوعی، حتی نامهای معتبری مانند Anthropic و Perplexity AI، به نادیده گرفتن این فایل متهم شدهاند. کلادفلر میگوید روزانه بیش از ۵۰ میلیارد درخواست از رباتهای خزنده دریافت میکند و گرچه ابزارهایی برای شناسایی و مسدودسازی رباتهای مخرب در اختیار دارد، این روش اغلب موجب تغییر تاکتیک مهاجمان و تداوم بازی موش و گربه با آنها میشود.
در همین راستا، کلادفلر با معرفی AI Labyrinth تصمیم گرفته است به جای مقابله مستقیم، راهی برای به دام انداختن این رباتها ارائه دهد. این ابزار بهگونهای طراحی شده که رباتها را به پردازش دادههایی وادار میکند که نه تنها ارتباطی با محتوای واقعی سایت ندارند، بلکه کاملاً بیربط و بیفایده هستند. این صفحات ساختگی، مانند یک تله مدرن عمل میکنند و تنها رباتهای هوش مصنوعی را در مسیر خود نگه میدارند؛ چراکه یک کاربر واقعی هرگز تا این اندازه در عمق صفحات نامرتبط پیش نمیرود.
کلادفلر میگوید این روش نه تنها امکان شناسایی دقیقتر رباتهای مخرب را فراهم میکند، بلکه الگوها و امضاهای جدیدی را که پیشتر قابل شناسایی نبودند، آشکار میسازد. همچنین تأکید شده که این صفحات برای بازدیدکنندگان انسانی قابل مشاهده نخواهند بود.
این شرکت همچنین در توضیح نحوه ساخت این تله دیجیتال اعلام کرده است که ابتدا با تولید موضوعاتی متنوع و سپس ایجاد محتوای علمی و واقعی برای هرکدام از آنها، توانسته است محتوایی قانعکننده ولی بیربط به سایتهای اصلی تولید کند. هدف کلادفلر جلوگیری از گسترش اطلاعات نادرست در اینترنت است؛ به همین دلیل از انتشار محتوای ناصحیح خودداری شده است.
مدیران وبسایتها میتوانند با مراجعه به داشبورد خود در بخش مدیریت رباتهای کلادفلر ، این قابلیت را فعال کنند. به گفته کلادفلر ، AI Labyrinth نخستین گام در استفاده از هوش مصنوعی مولد برای مقابله با رباتهاست و این شرکت در آینده قصد دارد شبکههایی بزرگ از لینکهای ساختگی ایجاد کند که تشخیص محتوای واقعی و جعلی را برای رباتها دشوارتر خواهد کرد. نشریه Ars Technica نیز در گزارشی این ابزار را با Nepenthes مقایسه کرده است؛ ابزاری که رباتها را برای ماهها در میان دادههای بیارزش تولیدشده با هوش مصنوعی سرگردان میکند.
