گوگل خزنده جدیدی را برای بهینه سازی عملکرد Googlebot معرفی می کند

گوگل اخیراً یک خزنده وب جدید به نام «GoogleOther» را معرفی کرده است که برای کاهش فشار بر Googlebot، خزنده فهرست اصلی جستجوی آن طراحی شده است.

اضافه شدن این خزنده جدید در نهایت به گوگل کمک می کند تا عملیات خزیدن خود را بهینه و ساده کند.

خزنده های وب، همچنین به عنوان روبات یا عنکبوت شناخته می شوند، به طور خودکار وب سایت ها را کشف و اسکن می کنند.

Googlebot مسئول ایجاد فهرست برای جستجوی گوگل است.

GoogleOther یک خزنده وب عمومی است که توسط تیم های مختلف محصول در Google برای واکشی محتوای قابل دسترس عموم از وب سایت ها استفاده می شود.

در یک پست لینکدین، گری ایلیس، تحلیلگر جستجوی گوگل، جزئیات بیشتری را به اشتراک می گذارد.

تقسیم مسئولیت ها بین Googlebot و GoogleOther

هدف اصلی خزنده GoogleOther جدید، به عهده گرفتن وظایف غیر ضروری است که در حال حاضر توسط Googlebot انجام می شود.

با انجام این کار، Googlebot اکنون می تواند صرفاً بر روی ایجاد فهرست جستجوی مورد استفاده توسط جستجوی Google تمرکز کند.

در همین حال، GoogleOther مشاغل دیگری مانند خزیدن تحقیق و توسعه (R&D) را که مستقیماً به نمایه سازی جستجو مرتبط نیستند، انجام خواهد داد.

ایلیز در لینکدین بیان می کند:

ما یک خزنده جدید به نام GoogleOther را به لیست خزنده‌های خود اضافه کردیم که در نهایت فشاری را از Googlebot کم می‌کند. این یک تغییر بدون عملیات برای شما است، اما با این وجود به نظر من جالب است.

همانطور که ما نحوه و مواردی را که Googlebot خزیده می کند بهینه می کنیم، یکی از مواردی که می خواستیم اطمینان حاصل کنیم این است که کارهای خزیدن Googlebot فقط به صورت داخلی برای ایجاد فهرستی که توسط جستجو استفاده می شود استفاده می شود. برای این کار ما یک خزنده جدید به نام GoogleOther اضافه کردیم که جایگزین برخی از کارهای دیگر Googlebot مانند خزیدن تحقیق و توسعه خواهد شد تا مقداری ظرفیت خزیدن را برای Googlebot آزاد کند.

GoogleOther زیرساخت Googlebot را به ارث می برد

GoogleOther زیرساخت مشابه Googlebot را به اشتراک می‌گذارد، به این معنی که دارای محدودیت‌ها و ویژگی‌های یکسانی است، از جمله محدودیت‌های بار میزبان، robots.txt (البته با توکن عامل کاربر متفاوت)، نسخه پروتکل HTTP و اندازه واکشی.

در اصل، GoogleOther یک Googlebot است که با نام دیگری کار می کند.

مفاهیم برای SEO و صاحبان سایت

معرفی GoogleOther نباید تأثیر قابل توجهی روی وب سایت ها بگذارد، زیرا با استفاده از زیرساخت ها و محدودیت های مشابه Googlebot عمل می کند.

با این وجود، این یک پیشرفت قابل توجه در تلاش های مداوم گوگل برای بهینه سازی و ساده سازی فرآیندهای خزیدن وب است.

اگر در مورد GoogleOther نگران هستید، می‌توانید آن را به روش‌های زیر نظارت کنید:

• گزارش های سرور را تجزیه و تحلیل کنید: به طور منظم گزارش های سرور را بررسی کنید تا درخواست های ارائه شده توسط GoogleOther را شناسایی کنید. این به شما کمک می کند بفهمید که چقدر وب سایت شما را می خزد و از کدام صفحات بازدید می کند.
• robots.txt را به روز کنید: مطمئن شوید که فایل robots.txt شما به روز شده است تا در صورت لزوم قوانین خاصی را برای GoogleOther لحاظ کند. این به شما کمک می کند دسترسی و رفتار خزیدن آن در وب سایت خود را کنترل کنید.
• آمار خزیدن را در کنسول جستجوی گوگل رصد کنید: مراقب آمار خزیدن در کنسول جستجوی Google باشید تا هرگونه تغییر در فرکانس خزیدن، بودجه خزیدن یا تعداد صفحات فهرست شده از زمان معرفی GoogleOther را مشاهده کنید.
• ردیابی عملکرد وب سایت: به طور منظم معیارهای عملکرد وب سایت خود را مانند زمان بارگذاری، نرخ پرش و تعامل کاربر بررسی کنید تا هرگونه ارتباط احتمالی با فعالیت های خزیدن GoogleOther را شناسایی کنید. این به شما کمک می کند تشخیص دهید که آیا خزنده جدید باعث ایجاد مشکلات پیش بینی نشده در وب سایت شما می شود.

منبع: گوگل

تصویر ویژه: BestForBest/Shutterstock