چگونه تعامل Googlebot با وب سایت خود را کنترل کنیم

Google’s Search Relations به چندین سوال در مورد نمایه سازی صفحات وب در آخرین قسمت از پادکست “Search Off The Record” پاسخ داد.

موضوعات مورد بحث این بود که چگونه Googlebot را از خزیدن در بخش‌های خاصی از صفحه مسدود کنیم و چگونه از دسترسی کامل Googlebot به یک سایت جلوگیری کنیم.

جان مولر و گری ایلیس از گوگل به سوالات بررسی شده در این مقاله پاسخ دادند.

مسدود کردن Googlebot از بخش‌های خاص صفحه وب

مولر می گوید این است غیر ممکن وقتی از شما پرسیده شد که چگونه می‌توان Googlebot را از خزیدن در بخش‌های خاص صفحه وب، مانند مناطق «همچنین خرید» در صفحات محصول، جلوگیری کرد.

مولر گفت: “نسخه کوتاه این است که شما نمی توانید خزیدن یک بخش خاص در یک صفحه HTML را مسدود کنید.”

وی در ادامه دو راهبرد بالقوه برای مقابله با این موضوع ارائه کرد که هیچکدام راه حل ایده آل نیستند.

مولر استفاده از ویژگی HTML data-nosnippet را برای جلوگیری از ظاهر شدن متن در یک قطعه جستجو پیشنهاد کرد.

از طرف دیگر، می توانید از iframe یا جاوا اسکریپت با منبع مسدود شده توسط robots.txt استفاده کنید، اگرچه او هشدار داد که این ایده خوبی نیست.

مولر اظهار داشت: «استفاده از فایل iframe یا جاوا اسکریپت ربات‌شده می‌تواند باعث ایجاد مشکلاتی در خزیدن و نمایه‌سازی شود که تشخیص و رفع آن‌ها سخت است.

او به همه افرادی که گوش می‌دهند اطمینان داد که اگر محتوای مورد نظر در چندین صفحه دوباره استفاده شود، مشکلی نیست که نیاز به اصلاح داشته باشد.

او افزود: “نیازی به مسدود کردن Googlebot از دیدن این نوع تکراری وجود ندارد.”

مسدود کردن Googlebot از دسترسی به وب سایت

در پاسخ به سوالی مبنی بر جلوگیری از دسترسی Googlebot هر Illyes بخشی از یک سایت یک راه حل آسان برای دنبال کردن ارائه کرد.

ایلیس توضیح داد: “ساده ترین راه robots.txt است: اگر یک Disallow: / برای عامل کاربر Googlebot اضافه کنید، Googlebot سایت شما را تا زمانی که این قانون را در آنجا حفظ کنید، تنها خواهد گذاشت.”

برای کسانی که به دنبال راه حل قوی تر هستند، Illyes روش دیگری را ارائه می دهد:

او گفت: “اگر می خواهید حتی دسترسی به شبکه را مسدود کنید، باید قوانین فایروال ایجاد کنید که محدوده IP ما را در یک قانون انکار بارگذاری کند.”

برای فهرستی از آدرس‌های IP Googlebot به اسناد رسمی Google مراجعه کنید.

به طور خلاصه

اگرچه جلوگیری از دسترسی Googlebot به بخش‌های خاصی از یک صفحه HTML غیرممکن است، روش‌هایی مانند استفاده از ویژگی data-nosnippet می‌توانند کنترل را ارائه دهند.

هنگامی که در نظر دارید Googlebot را به طور کامل از سایت خود مسدود کنید، یک قانون غیر مجاز ساده در فایل robots.txt شما این کار را انجام می دهد. با این حال، اقدامات شدیدتر مانند ایجاد قوانین خاص فایروال نیز در دسترس هستند.

تصویر ویژه ایجاد شده توسط نویسنده با استفاده از Midjourney.

منبع: جستجوی Google Off The Record