Google اسناد تأیید Googlebot را به روز می کند

Google اسناد مرکزی جستجوی خود را برای تأیید Googlebot به‌روزرسانی کرد، اسنادی را درباره بازدیدهای ربات ایجاد شده توسط کاربر اضافه کرد، اطلاعاتی که در اسناد قبلی Googlebot وجود نداشت، که برای سال‌ها سردرگمی ایجاد کرده است و برخی ناشران محدوده IP بازدیدهای قانونی را مسدود می‌کنند.

اسناد ربات به تازگی به روز شده

گوگل سند جدیدی اضافه کرد که سه نوع مختلف ربات را که ناشران باید انتظار داشته باشند دسته بندی می کند.

این سه دسته از ربات های گوگل هستند:

• Googlebot – خزنده جستجو
• خزنده های مورد خاص
• واکشی توسط کاربر (GoogleUserContent)

آخرین مورد، GoogleUserContent یکی از مواردی است که ناشران را برای مدت طولانی سردرگم کرده است، زیرا گوگل هیچ سندی در مورد آن نداشت.

این چیزی است که گوگل در مورد GoogleUserContent می گوید:

«واکش‌کننده‌های تحریک‌شده توسط کاربر

ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند.

به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند.

از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌کننده‌ها قوانین robots.txt را نادیده می‌گیرند.

مستندات بیان می کند که ماسک DNS معکوس دامنه زیر را نشان می دهد:

“***-***-***-***.gae.googleusercontent.com”

در گذشته، چیزی که توسط برخی از جامعه سئو به من گفته شد، این بود که فعالیت ربات از آدرس‌های IP مرتبط با GoogleUserContent.com زمانی که کاربر یک وب‌سایت را از طریق یک تابع ترجمه که قبلاً در نتایج جستجو بود، مشاهده می‌کرد، فعال می‌شد. که دیگر در SERP های گوگل وجود ندارد.

نمی دانم این درست است یا نه. کافی بود بدانیم که این بازدید از طرف گوگل بوده که توسط کاربران راه اندازی شده است.

اسناد جدید گوگل توضیح می دهد که فعالیت ربات از آدرس های IP مرتبط با GoogleUserContent.com می تواند توسط ابزار Google Site Verifier فعال شود.

اما گوگل نمی گوید چه چیز دیگری ممکن است یک ربات را از آدرس های IP GoogleUserContent.com راه اندازی کند.

تغییر دیگر در اسناد، ارجاع به googleusercontent.com در زمینه آدرس های IP است که به نام دامنه، GoogleUserContent.com اختصاص داده شده است.

اینم متن جدید:

“تأیید کنید که نام دامنه googlebot.com، google.com، یا googleusercontent.com باشد.”

یکی دیگر از موارد اضافه شده، متن زیر است که از صفحه قدیمی گسترش یافته است:

از طرف دیگر، می‌توانید Googlebot را با آدرس IP با تطبیق آدرس IP خزنده با لیست‌های محدوده IP خزنده‌ها و واکشی‌های Google شناسایی کنید:

Googlebot

خزنده های ویژه مانند AdsBot

واکشی توسط کاربر

اسناد شناسایی ربات گوگل

اسناد جدید در نهایت چیزی در مورد ربات هایی دارد که از آدرس های IP مرتبط با GoogleUserContent استفاده می کنند.

بازاریابان جستجو با این آدرس‌های IP گیج شده بودند و تصور می‌کردند که آن ربات‌ها هرزنامه هستند.

یک بحث راهنمای Google Search Console از سال 2020 نشان می‌دهد که افراد چقدر در مورد فعالیت مرتبط با GoogleUserContent سردرگم شده‌اند.

بسیاری در آن بحث به درستی به این نتیجه رسیدند که این ربات گوگل نیست، اما سپس به اشتباه به این نتیجه رسیدند که این یک ربات جعلی است که وانمود می کند گوگل است.

کاربری ارسال کرده است:

رفتاری که من از این آدرس ها می بینم به رفتار قانونی ربات Google بسیار نزدیک است (اگر نه یکسان) و به چندین سایت ما برخورد می کند.

اگر اینطور نیست – به نظر می رسد که این نشان می دهد که فعالیت ربات مخرب گسترده ای توسط شخصی وجود دارد که سعی می کند در سایت های ما مانند گوگل ظاهر شود که نگران کننده است.

پس از چندین پاسخ، شخصی که بحث را شروع کرده است، نتیجه می گیرد که فعالیت GoogleUserContent هرزنامه بوده است.

آنها نوشتند:

«…ربات‌های Google مورد بحث از کاربران رسمی تقلید می‌کنند، اما به نظر می‌رسد شواهد نشان می‌دهد که جعلی هستند.

فعلاً آنها را مسدود خواهم کرد.»

اکنون می دانیم که فعالیت ربات از IP های مرتبط با GoogleUserContent ربات های اسپم یا هکر نیستند.

آنها واقعا از گوگل هستند. ناشرینی که در حال حاضر آدرس‌های IP مرتبط با GoogleUserContent را مسدود می‌کنند، احتمالاً باید آنها را رفع انسداد کنند.

لیست فعلی آدرس‌های IP Fetcher توسط کاربر در اینجا موجود است.

اسناد به روز شده گوگل را بخوانید:

تأیید Googlebot و سایر خزنده‌های Google

تصویر برجسته توسط Shutterstock/Asier Romero