راهنمای به روز شده خزنده گوگل تگ های ET را توصیه می کند

گوگل به‌روزرسانی مستندات خزنده خود را اعلام کرد و اطلاعات بیشتری در مورد حافظه پنهان اضافه کرد که به درک بهتر نحوه بهینه‌سازی برای خزنده Google کمک می‌کند. با پیروی از دستورالعمل‌های جدید در مورد اجرای هدرهای ذخیره HTTP مناسب، SEO و ناشران می‌توانند کارایی خزیدن را بهبود بخشند و منابع سرور را بهینه کنند.

اسناد خزنده به روز شد

اکنون اسناد خزنده دارای بخشی است که توضیح می‌دهد چگونه خزنده‌های Google از مکانیسم‌های ذخیره HTTP استفاده می‌کنند که به حفظ منابع محاسباتی برای ناشران و Google در حین خزیدن کمک می‌کند.

موارد اضافه شده به اسناد به طور قابل توجهی در نسخه قبلی گسترش می یابد.

مکانیسم های ذخیره سازی

Google توصیه می‌کند که حافظه پنهان را با سرصفحه‌هایی مانند ETag و If-None-Match و همچنین به‌صورت اختیاری Last-Modified و If-Modified-Since فعال کنید تا نشان دهد آیا محتوا تغییر کرده است یا خیر. این می تواند به کاهش خزیدن غیر ضروری و صرفه جویی در منابع سرور کمک کند، که هم برای ناشران و هم برای خزنده های Google یک پیروزی محسوب می شود.

در اسناد جدید آمده است:

زیرساخت خزنده گوگل از کش HTTP اکتشافی همانطور که توسط استاندارد ذخیره HTTP تعریف شده است، به ویژه از طریق سرصفحه درخواست پاسخ ETag و If-None-Match و سرصفحه درخواست Last-Modified- و If-Modified-Since پشتیبانی می کند.

اولویت Google برای اولویت برای ETag

گوگل استفاده از ETag را به جای Last-Modified توصیه می کند زیرا ETag کمتر در معرض خطاهایی مانند مشکلات قالب بندی تاریخ است و اعتبارسنجی محتوای دقیق تری را ارائه می دهد. همچنین توضیح می دهد که اگر هر دو سرصفحه پاسخ ETag و Last-Modified ارائه شوند چه اتفاقی می افتد:

«اگر هر دو فیلد سرصفحه پاسخ ETag و آخرین اصلاح شده در پاسخ HTTP وجود داشته باشند، خزنده‌های Google از مقدار ETag مطابق با استاندارد HTTP استفاده می‌کنند.»

اسناد جدید همچنین بیان می‌کنند که سایر دستورالعمل‌های حافظه پنهان HTTP پشتیبانی نمی‌شوند.

پشتیبانی متغیر در سراسر خزنده ها

اسناد جدید توضیح می دهد که پشتیبانی از کش در بین خزنده های گوگل متفاوت است. به عنوان مثال، Googlebot از کش برای خزیدن مجدد پشتیبانی می کند، در حالی که Storebot-Google پشتیبانی از کش را محدود می کند.

گوگل توضیح می دهد:

خزنده‌ها و واکشی‌کننده‌های Google ممکن است بسته به نیاز محصولی که با آن مرتبط هستند از حافظه پنهان استفاده کنند یا نکنند. به عنوان مثال، Googlebot هنگام خزیدن مجدد URL ها برای جستجوی Google از کش پشتیبانی می کند، و Storebot-Google فقط در شرایط خاصی از کش پشتیبانی می کند.

راهنمای اجرا

اسناد جدید Google توصیه می‌کند برای کمک با ارائه‌دهندگان میزبانی یا CMS تماس بگیرید. همچنین پیشنهاد می‌کند (اما نیازی نیست) که ناشران حداکثر سن را در سرصفحه پاسخ Cache-Control تنظیم کنند تا به خزنده‌ها کمک کنند تا بدانند چه زمانی URL‌های خاص را بخزند.

پست کاملا جدید وبلاگ

گوگل همچنین یک پست جدید وبلاگ منتشر کرده است:

خزیدن دسامبر: ذخیره HTTP

اسناد به روز شده را بخوانید:

HTTP Caching

تصویر برجسته توسط Shutterstock/Asier Romero