مراقب ترافیک جعلی Googlebot باشید

مارتین اسپلیت، مدافع توسعه‌دهنده گوگل، به صاحبان وب‌سایت هشدار می‌دهد که مراقب ترافیکی باشند که به نظر می‌رسد از Googlebot می‌آید. بسیاری از درخواست‌هایی که وانمود می‌کنند ربات گوگل هستند، در واقع از اسکراپرهای شخص ثالث هستند.

او این موضوع را در آخرین قسمت از مجموعه‌های Google SEO Made Easy به اشتراک گذاشت و تأکید کرد که «هر کسی که ادعا می‌کند Googlebot است واقعاً Googlebot نیست».

چرا این مهم است؟

خزنده های جعلی می توانند تجزیه و تحلیل ها را تحریف کنند، منابع را مصرف کنند و ارزیابی دقیق عملکرد سایت شما را دشوار کنند.

در اینجا نحوه تمایز بین ترافیک قانونی Googlebot و فعالیت خزنده جعلی وجود دارد.

روش‌های تأیید Googlebot

شما می توانید ترافیک واقعی Googlebot را از خزنده های جعلی با بررسی الگوهای ترافیک کلی به جای درخواست های غیر معمول تشخیص دهید.

ترافیک واقعی Googlebot تمایل دارد که فرکانس درخواست، زمان بندی و رفتار ثابتی داشته باشد.

اگر به فعالیت جعلی Googlebot مشکوک هستید، Splitt توصیه می کند از ابزارهای Google زیر برای تأیید آن استفاده کنید:

ابزار بازرسی URL (کنسول جستجو)

• یافتن محتوای خاص در HTML ارائه شده تأیید می کند که Googlebot می تواند با موفقیت به صفحه دسترسی پیدا کند.
• قابلیت آزمایش زنده را برای تأیید وضعیت دسترسی فعلی ارائه می دهد.

تست نتایج غنی

• به عنوان یک روش تأیید جایگزین برای دسترسی Googlebot عمل می کند
• نشان می دهد که Googlebot چگونه صفحه را رندر می کند
• حتی بدون دسترسی به کنسول جستجو نیز قابل استفاده است

گزارش آمار خزیدن

• اطلاعات دقیق پاسخ سرور را به طور خاص از درخواست های تأیید شده Googlebot نشان می دهد
• به شناسایی الگوهای رفتار قانونی Googlebot کمک می کند

یک محدودیت کلیدی وجود دارد که شایان ذکر است: این ابزارها آنچه را که Googlebot واقعی می‌بیند و انجام می‌دهد تأیید می‌کند، اما آنها مستقیماً جعل‌کنندگان را در گزارش‌های سرور شما شناسایی نمی‌کنند.

برای محافظت کامل در برابر Googlebots جعلی، باید:

• گزارش‌های سرور را با محدوده IP رسمی Google مقایسه کنید
• اجرای تأیید جستجوی معکوس DNS
• از ابزارهای بالا برای ایجاد رفتار قانونی Googlebot استفاده کنید

نظارت بر پاسخ های سرور

اسپلیت همچنین بر اهمیت نظارت بر پاسخ‌های سرور به درخواست‌های خزیدن تأکید کرد، به ویژه:

• خطاهای سری 500
• واکشی خطاها
• تایم اوت ها
• مشکلات DNS

این مسائل می تواند به طور قابل توجهی بر کارایی خزیدن و دید جستجو برای وب سایت های بزرگتر میزبان میلیون ها صفحه تأثیر بگذارد.

اسپلیت می گوید:

به پاسخ‌هایی که سرورتان به Googlebot داده است، به ویژه تعداد بالای 500 پاسخ، خطاهای واکشی، زمان‌بندی، مشکلات DNS و موارد دیگر توجه کنید.»

او خاطرنشان کرد که در حالی که برخی از خطاها گذرا هستند، مسائل پایدار “ممکن است بخواهند بیشتر بررسی شوند.”

اسپلیت استفاده از تجزیه و تحلیل گزارش سرور را برای تشخیص پیچیده‌تر پیشنهاد کرد، اگرچه او اذعان داشت که این یک کار اساسی نیست.

با این حال، او بر ارزش آن تأکید کرد و خاطرنشان کرد که «نگاه کردن به گزارش‌های وب سرور شما… راهی قدرتمند برای درک بهتر آنچه در سرور شما اتفاق می‌افتد است».

تاثیر بالقوه

فراتر از امنیت، ترافیک جعلی Googlebot می تواند بر عملکرد وب سایت و تلاش های سئو تأثیر بگذارد.

اسپلیت تأکید کرد که دسترسی به وب سایت در یک مرورگر، دسترسی به Googlebot را تضمین نمی کند و به موانع احتمالی مختلفی اشاره کرد، از جمله:

• محدودیت های Robots.txt
• تنظیمات فایروال
• سیستم های حفاظتی ربات
• مشکلات مسیریابی شبکه

نگاه کردن به جلو

ترافیک جعلی Googlebot می‌تواند آزاردهنده باشد، اما Splitt می‌گوید که نباید زیاد نگران موارد نادر باشید.

فرض کنید فعالیت خزنده جعلی مشکل ساز می شود یا از قدرت سرور بیش از حد استفاده می کند. در این صورت، می‌توانید اقداماتی مانند محدود کردن نرخ درخواست‌ها، مسدود کردن آدرس‌های IP خاص یا استفاده از روش‌های تشخیص بهتر ربات را انجام دهید.

برای اطلاعات بیشتر در مورد این موضوع، ویدیوی کامل زیر را ببینید:

تصویر ویژه: eamesBot/Shutterstock