Cloudflare دفع و جلوگیری از ظهور وب سایت های خزنده

Cloudflare اعلام کرد که آنها خزنده Plexlexity را به عنوان یک ربات تأیید شده حذف کرده اند و اکنون به طور فعال دچار سرخوردگی و تمام ربات های مخفی آن از وب سایت های خزنده شده اند. CloudFlare در پاسخ به شکایات متعدد کاربر در برابر دچار اختلال در مورد نقض پروتکل های روبات ها عمل کرد. پروتکل های بعدی ، و تحقیقات بعدی نشان داد که دغدغه از تاکتیک های پرخاشگرانه Rogue Bot استفاده می کند تا خزنده های خود را به وب سایت ها مجبور کند.

برنامه رباتهای تأیید شده CloudFlare

Cloudflare سیستمی به نام رباتهای تأیید شده دارد که لیست سفید در سیستم خود ربات می دهد و به آنها امکان می دهد وب سایتهایی را که توسط CloudFlare محافظت می شوند ، خزنده کنند. رباتهای تأیید شده باید برای حفظ وضعیت ممتاز خود در سیستم CloudFlare ، با سیاست های خاص مانند اطاعت از پروتکل های روبات ها مطابقت داشته باشند.

به نظر می رسد که دچار نقص الزامات Cloudflare است که ربات ها از آن استفاده می کنند. پروتکل TXT.

Cloudflare دچار اغتشاش استفاده از خزیدن خفا می شود

Cloudflare فعالیت های مختلفی را نشان داد که نشانگر خزیدن بسیار تهاجمی است ، با هدف دور زدن پروتکل روبات ها.

رفتار خزنده خفا: آدرس های IP در حال چرخش

سرگیجه با استفاده از آدرس های IP در حال چرخش ، تغییر ASN ها و مرورگرهای جعلی مانند Chrome ، بلوک می کند.

Perplexity لیستی از آدرس های رسمی IP دارد که از ASN خاص (شماره سیستم خودمختار) خزنده می شوند. این آدرس های IP به شناسایی خزنده های مشروع از گیج کننده کمک می کند.

ASN بخشی از سیستم شبکه اینترنتی است که یک شماره شناسایی منحصر به فرد را برای گروهی از آدرس های IP فراهم می کند. به عنوان مثال ، کاربرانی که از طریق ISP به اینترنت دسترسی پیدا می کنند این کار را با یک آدرس IP خاص که متعلق به ASN است که به آن ISP اختصاص داده شده است ، انجام می دهند.

هنگامی که مسدود شد ، سرگیجه سعی کرد با تغییر به آدرس های مختلف IP که به عنوان IP های رسمی در معرض خطر قرار نمی گیرند ، از محدودیت خودداری کنند ، از جمله موارد کاملاً متفاوت که متعلق به یک ASN متفاوت است.

رفتار خزنده خفا: نماینده کاربر جعلی

یکی دیگر از رفتارهای عجیب و غریب که Cloudflare شناسایی کرده بود این بود که دچار سرگیجه عامل کاربر خود را به منظور دور زدن تلاش برای مسدود کردن خزنده خود از طریق Robots.txt تغییر داد.

به عنوان مثال ، رباتهای Perplexity با نمایندگان کاربر زیر مشخص می شوند:

• دفع
• گیج کننده

Cloudflare اظهار داشت که سرگیجه با استفاده از یک عامل کاربر متفاوت که به عنوان شخصی که با Chrome 124 در سیستم MAC خزیده است ، به بلوک های عامل کاربر پاسخ داده است. این عملی به نام کلاهبرداری است ، جایی که یک خزنده سرکش خود را به عنوان یک مرورگر مشروع معرفی می کند.

طبق گفته CloudFlare ، گیج کننده از عامل کاربر مخفی زیر استفاده کرد:

“Mozilla/5.0 (Macintosh ؛ Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML ، مانند Gecko) Chrome/124.0.0.0 Safari/537.36”

Cloudflare دچار سرخوردگی می شود

Cloudflare اعلام کرد که گیج کننده به عنوان یک ربات تأیید شده حذف می شود و آنها را مسدود می کند:

“اینترنت همانطور که ما آن را برای سه دهه گذشته می شناسیم به سرعت در حال تغییر است ، اما یک چیز ثابت باقی می ماند: این اعتماد به نفس ساخته شده است. ترجیحات روشنی وجود دارد که خزنده ها باید شفاف باشند ، یک هدف واضح را انجام دهند ، یک فعالیت خاص را انجام دهند ، و از همه مهمتر ، آیین نامه های وب سایت و ترجیحات را دنبال کنید. این خزیدن خفا را مسدود کنید. “

پیشخدمت

• نقض سیاست رباتهای تأیید شده Cloudflare
  Perplexity خط مشی رباتهای تأیید شده Cloudflare را نقض کرد ، که دسترسی به خزنده به ربات های قابل اعتماد را که از قوانین عقل سلیم پیروی می کنند ، مانند احترام به پروتکل روبات ها ، اعطا می کند.
• گیج کننده از تاکتیک های خزیدن خفا استفاده کرد
  Perplexity از آدرس های IP نامشخص از ASN های مختلف و نمایندگان کاربر جعلی برای خزیدن محتوا پس از مسدود شدن از دسترسی به آن استفاده می شود.
• جعل عامل کاربر
  سرخوردگی با قرار دادن Chrome در یک سیستم عامل MAC در تلاش برای دور زدن فیلترهایی که باعث مسدود کردن خزنده های شناخته شده می شود ، ربات خود را به عنوان یک کاربر انسانی مبدل کرد.
• پاسخ Cloudflare
  Cloudflare باعث از بین رفتن به عنوان یک ربات تأیید شده شد و قوانین جدید مسدود کردن را برای جلوگیری از خزیدن مخفیگاه اجرا کرد.
• پیامدهای سئو
  کاربران CloudFlare که می خواهند از مزاحمت برای خزیدن سایت های خود بخواهند ، بخواهند بررسی کنند که آیا CloudFlare باعث جلوگیری از خزیدن خزنده ها می شود ، و اگر چنین است ، خزیدن را از طریق داشبورد CloudFlare خود فعال کنید.

Cloudflare پس از کشف اینکه مکرراً سیاست های رباتهای تأیید شده را با نافرمانی از روبات ها نقض می کند ، باعث از بین رفتن به عنوان یک ربات تأیید شده شد. برای فرار از تشخیص ، سرگیجه همچنین IP ها را چرخانده ، ASN ها را تغییر داده و عامل کاربر خود را جعل کرد تا به عنوان یک مرورگر انسانی ظاهر شود. تصمیم Cloudflare برای مسدود کردن ربات ، پاسخ جدی به رفتار ربات های تهاجمی از طرف سرگیجه است.