Google در تشخیص مشکلات خزیدن چند دامنه
جان مولر، وکیل جستجوی گوگل، بینش هایی را در مورد تشخیص مشکلات گسترده خزیدن به اشتراک گذاشت.
این راهنمایی در پاسخ به اختلالی که توسط آدریان اشمیت در لینکدین گزارش شده به اشتراک گذاشته شده است. خزنده گوگل دسترسی به چندین دامنه خود را همزمان متوقف کرد.
با وجود وقفه، اشمیت خاطرنشان کرد که آزمایشهای زنده از طریق کنسول جستجو بدون پیامهای خطا به کار خود ادامه دادند.
بررسیها نشان داد هیچ افزایشی در خطاهای 5xx یا مشکلات مربوط به درخواستهای robots.txt وجود ندارد.
مشکل از چی میتونه باشه؟
پاسخ مولر
مولر با پرداختن به این وضعیت، به زیرساخت های مشترک به عنوان دلیل احتمالی اشاره کرد:
اگر در میان دستهای از دامنهها به اشتراک گذاشته میشود و روی چیزی مانند خزیدن تمرکز میکند، احتمالاً مشکلی با یک زیرساخت مشترک است. اگر از قبل در حال بهبودی است، حداقل دیگر فوری نیست و شما کمی زمان دارید تا تغییرات اخیر / گزارشهای زیرساخت را بررسی کنید.
بررسی زیرساخت
همه سایتهای آسیبدیده از Cloudflare بهعنوان CDN خود استفاده میکردند که برخی از ابروها را برانگیخت.
وقتی از مولر در مورد اشکالزدایی پرسیده شد، مولر توصیه کرد دادههای کنسول جستجو را بررسی کنید تا مشخص شود آیا DNS یا درخواستهای ناموفق باعث ایجاد مشکل شدهاند یا خیر.
مولر اظهار داشت:
«آمار خزیدن در «کنسول جستجو» نیز کمی بیشتر نشان میدهد، شاید به تصمیمگیری بین DNS در مقابل شکست درخواستها کمک کند.»
او همچنین اشاره کرد که زمان بندی یک سرنخ کلیدی است:
“اگر همه چیز دقیقاً در یک زمان باشد، نه robots.txt خواهد بود و نه احتمالاً DNS.”
تاثیر بر نتایج جستجو
با توجه به نگرانیهای مربوط به نمایان بودن جستجو، مولر اطمینان داد که این نوع اختلال هیچ مشکلی ایجاد نمیکند:
“اگر این از امروز باشد، و فقط چند ساعت طول بکشد، من انتظار هیچ مشکل قابل مشاهده ای را در جستجو ندارم.”
چرا این مهم است
هنگامی که Googlebot به طور ناگهانی خزیدن در چندین سایت به طور همزمان متوقف می شود، شناسایی علت اصلی می تواند چالش برانگیز باشد.
اگرچه توقف موقت خزیدن ممکن است فوراً بر رتبهبندی جستجو تأثیر نگذارد، میتواند توانایی Google برای کشف و فهرستبندی محتوای جدید را مختل کند.
این حادثه آسیب پذیری را برجسته می کند که ممکن است سازمان ها بدون اینکه متوجه شوند، به ویژه آنهایی که به زیرساخت های مشترک متکی هستند، با آن مواجه شوند.
چگونه این می تواند به شما کمک کند
اگر Googlebot خزیدن سایت شما را متوقف کند:
- بررسی کنید که آیا مشکل به چندین سایت در یک زمان برخورد می کند
- ابتدا به زیرساخت های مشترک خود نگاه کنید
- از داده های کنسول جستجو برای محدود کردن علت استفاده کنید
- فقط به این دلیل که ترافیک معمولی خوب به نظر می رسد، DNS را رد نکنید
- مراقب گزارش های خود باشید
برای هر کسی که چندین سایت را پشت یک CDN اجرا می کند، مطمئن شوید:
- تنظیم ورود به سیستم خوب داشته باشید
- مراقب نرخ خزیدن خود باشید
- بدانید وقتی همه چیز به طرفین پیش می رود با چه کسی تماس بگیرید
- از ارائهدهنده زیرساخت خود مطلع باشید
تصویر ویژه: PeopleImages.com – یوری ای/Shutterstock