Google کل اسناد خزنده را بازسازی می کند

گوگل اصلاحات اساسی در اسناد خزنده خود راه اندازی کرده است، صفحه نمای کلی را کوچک می کند و محتوا را به سه صفحه جدید و متمرکزتر تقسیم می کند. اگرچه لاگ تغییرات تغییرات را کم‌اهمیت می‌کند، یک بخش کاملاً جدید و اساساً بازنویسی کل صفحه نمای کلی خزنده وجود دارد. صفحات اضافی به گوگل اجازه می دهد تا تراکم اطلاعات تمام صفحات خزنده را افزایش دهد و پوشش موضوعی را بهبود بخشد.

چه چیزی تغییر کرد؟

تغییرات ثبت اسناد گوگل دو تغییر را یادداشت می کند، اما در واقع تغییرات زیادی وجود دارد.

در اینجا برخی از تغییرات وجود دارد:

• یک رشته عامل کاربر به‌روزرسانی شده برای خزنده GoogleProducer اضافه شد
• اطلاعات رمزگذاری محتوا اضافه شد
• یک بخش جدید در مورد ویژگی های فنی اضافه شد

بخش مشخصات فنی حاوی اطلاعات کاملاً جدیدی است که قبلاً وجود نداشته است. هیچ تغییری در رفتار خزنده وجود ندارد، اما با ایجاد سه صفحه خاص، گوگل می‌تواند اطلاعات بیشتری را به صفحه نمای کلی خزنده اضافه کند و به طور همزمان آن را کوچک‌تر کند.

این اطلاعات جدید در مورد رمزگذاری محتوا (فشرده سازی) است:

خزنده‌ها و واکشی‌های Google از کدگذاری‌های محتوای زیر (فشرده‌سازی) پشتیبانی می‌کنند: gzip، deflate، و Brotli (br). رمزگذاری‌های محتوایی که توسط هر نماینده کاربر Google پشتیبانی می‌شود، در سربرگ Accept-Encoding هر درخواستی که آنها ارائه می‌کنند، تبلیغ می‌شوند. به عنوان مثال، Accept-Encoding: gzip، deflate، br.”

اطلاعات بیشتری در مورد خزیدن بر روی HTTP/1.1 و HTTP/2 وجود دارد، به علاوه بیانیه ای در مورد هدف آنها خزیدن تا حد امکان صفحات بدون تأثیر بر سرور وب سایت است.

هدف Revamp چیست؟

تغییر در اسناد به این دلیل بود که صفحه نمای کلی بزرگ شده بود. اطلاعات اضافی خزنده صفحه نمای کلی را بزرگتر می کند. تصمیم گرفته شد که صفحه را به سه موضوع فرعی تقسیم کنیم تا محتوای خزنده خاص بتواند به رشد خود ادامه دهد و فضایی برای اطلاعات عمومی بیشتر در صفحه مروری ایجاد کند. چرخاندن موضوعات فرعی در صفحات خود یک راه حل عالی برای مشکل نحوه ارائه بهترین خدمات به کاربران است.

به این صورت است که تغییرات ثبت اسناد تغییر را توضیح می دهد:

«اسناد بسیار طولانی شد که توانایی ما را برای گسترش محتوای مربوط به خزنده‌ها و واکشی‌های ایجادشده توسط کاربر محدود کرد.

… اسناد را برای خزنده‌های Google و واکشی‌های راه‌اندازی شده توسط کاربر سازماندهی مجدد کرد. همچنین یادداشت‌های صریح درباره محصولی که هر خزنده بر آن تأثیر می‌گذارد اضافه کردیم و یک قطعه robots.txt برای هر خزنده اضافه کردیم تا نحوه استفاده از نشانه‌های عامل کاربر را نشان دهیم. در غیر این صورت هیچ تغییر معنی‌داری در محتوا ایجاد نشد.»

تغییرات ثبت تغییرات را با توصیف آنها به عنوان سازماندهی مجدد کاهش می دهد زیرا نمای کلی خزنده به طور اساسی بازنویسی شده است، علاوه بر ایجاد سه صفحه کاملاً جدید.

در حالی که محتوا اساساً یکسان باقی می‌ماند، تقسیم آن به موضوعات فرعی باعث می‌شود که گوگل بدون ادامه رشد صفحه اصلی، محتوای بیشتری را به صفحات جدید اضافه کند. صفحه اصلی که نمای کلی خزنده‌ها و واکشی‌های Google (عوامل کاربر) نام دارد، اکنون واقعاً یک نمای کلی است که محتوای جزئی‌تر آن به صفحات مستقل منتقل شده است.

گوگل سه صفحه جدید منتشر کرد:

1. خزنده های معمولی
2. خزنده های مورد خاص
3. واکشی‌های راه‌اندازی شده توسط کاربر

1. خزنده های معمولی

همانطور که در عنوان می گوید، این خزنده های رایج هستند، که برخی از آنها با GoogleBot مرتبط هستند، از جمله Google-InspectionTool که از عامل کاربر GoogleBot استفاده می کند. همه ربات های فهرست شده در این صفحه از قوانین robots.txt پیروی می کنند.

اینها خزنده های مستند Google هستند:

• Googlebot
• تصویر Googlebot
• ویدیوی Googlebot
• اخبار Googlebot
• Google StoreBot
• Google-InspectionTool
• GoogleOther
• GoogleOther-Image
• GoogleOther-Video
• Google-CloudVertexBot
• Google-Extended

3. خزنده های مورد خاص

اینها خزنده هایی هستند که با محصولات خاصی مرتبط هستند و با توافق با کاربران آن محصولات خزیده می شوند و از آدرس های IP متمایز از آدرس های IP خزنده GoogleBot کار می کنند.

لیست خزنده های مورد خاص:

• AdSense
  عامل کاربر برای Robots.txt: Mediapartners-Google
• AdsBot
  عامل کاربر برای Robots.txt: AdsBot-Google
• AdsBot Mobile Web
  عامل کاربر برای Robots.txt: AdsBot-Google-Mobile
• APIs-Google
  عامل کاربر برای Robots.txt: APIs-Google
• Google-Safety
  عامل کاربر برای Robots.txt: Google-Safety

3. Fetchers توسط کاربر

صفحه Fetchers توسط کاربر ربات‌هایی را پوشش می‌دهد که با درخواست کاربر فعال می‌شوند، به شرح زیر است:

واکشی‌های راه‌اندازی شده توسط کاربر توسط کاربران برای انجام یک عملکرد واکشی در یک محصول Google آغاز می‌شوند. به عنوان مثال، Google Site Verifier بر اساس درخواست کاربر عمل می کند، یا سایتی که در Google Cloud (GCP) میزبانی می شود دارای ویژگی است که به کاربران سایت اجازه می دهد فید RSS خارجی را بازیابی کنند. از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌کننده‌ها عموماً قوانین robots.txt را نادیده می‌گیرند. ویژگی‌های فنی کلی خزنده‌های Google در مورد واکشی‌های راه‌اندازی شده توسط کاربر نیز اعمال می‌شود.»

مستندات ربات های زیر را پوشش می دهد:

• فیدفچر
• Google Publisher Center
• Google Read Aloud
• Google Site Verifier

غذای آماده:

صفحه نمای کلی خزنده گوگل بیش از حد جامع و احتمالاً کمتر کاربردی شد زیرا مردم همیشه به یک صفحه جامع نیاز ندارند، آنها فقط به اطلاعات خاصی علاقه مند هستند. صفحه نمای کلی کمتر مشخص است اما درک آن نیز آسان تر است. اکنون به عنوان یک نقطه ورودی عمل می کند که در آن کاربران می توانند به موضوعات فرعی خاص تر مربوط به سه نوع خزنده بپردازند.

این تغییر بینش‌هایی را در مورد چگونگی تازه‌سازی صفحه‌ای ارائه می‌دهد که ممکن است به دلیل جامع‌تر شدن بیش از حد، عملکرد ضعیفی داشته باشد. تقسیم یک صفحه جامع به صفحات مستقل به موضوعات فرعی اجازه می دهد تا نیازهای کاربران خاص را برطرف کنند و احتمالاً در صورت رتبه بندی در نتایج جستجو، آنها را مفیدتر کند.

نمی‌توانم بگویم که این تغییر چیزی را در الگوریتم Google منعکس می‌کند، فقط نشان می‌دهد که چگونه Google اسناد خود را به‌روزرسانی کرده تا مفیدتر باشد و آن را برای افزودن اطلاعات بیشتر تنظیم کند.

اسناد جدید گوگل را بخوانید

نمای کلی خزنده‌ها و واکشی‌های Google (عامل‌های کاربر)

لیستی از خزنده های رایج گوگل

فهرست خزنده‌های مورد خاص گوگل

فهرست واکشی‌های راه‌اندازی شده توسط Google

تصویر ویژه توسط Shutterstock/Cast Of Thousands