Google Robots.txt توضیح دهنده جدید منتشر می کند
Google یک Robots.txt جدید را منتشر کرد که توضیح می دهد که چگونه Robots.txt ناشران و SEO را قادر می سازد تا خزنده های موتور جستجو و سایر ربات ها را کنترل کنند (که از Robots.txt استفاده می کنند). این مستندات شامل نمونه هایی از مسدود کردن صفحات خاص (مانند چرخ دستی های خرید) ، محدود کردن ربات های خاص و مدیریت رفتار خزنده با قوانین ساده است.
از اصول گرفته تا پیشرفته
مستندات جدید مقدمه ای سریع به آنچه Robots.txt است ارائه می دهد و به تدریج پیشرفت می کند تا به طور فزاینده ای از آنچه ناشران و SEO می توانند با Robots.txt انجام دهند و چگونه از آنها سود می برد.
نکته اصلی قسمت اول سند معرفی Robots.txt به عنوان یک پروتکل وب پایدار با سابقه 30 ساله است که به طور گسترده توسط موتورهای جستجو و سایر خزنده ها پشتیبانی می شود.
کنسول جستجوی Google اگر Robots.txt از دست رفته باشد ، پیام خطای 404 را گزارش می کند. اشکالی ندارد که این اتفاق بیفتد ، اما اگر این مسئله را برای دیدن این مسئله در GSC می توانید 30 روز صبر کنید و هشدار از بین می رود. تغییر دهنده ایجاد یک فایل Robots.txt است که توسط Google نیز قابل قبول است.
مستندات جدید Google توضیح می دهد:
“اگر کل سایت شما ممکن است خزیده شود ، می توانید پرونده robots.txt خود را خالی بگذارید (یا اصلاً آن را نداشته باشید) ، یا می توانید قوانینی را برای مدیریت خزیدن اضافه کنید.”
از آنجا اصول اولیه مانند قوانین سفارشی را برای محدود کردن صفحات یا بخش های خاص پوشش می دهد.
کاربردهای پیشرفته Robots.txt این قابلیت ها را پوشش می دهد:
- می تواند خزنده های خاص را با قوانین مختلف هدف قرار دهد.
- مسدود کردن الگوهای URL مانند PDF یا صفحات جستجو را فعال می کند.
- کنترل گرانول بر روی ربات های خاص را امکان پذیر می کند.
- از نظرات برای مستندات داخلی پشتیبانی می کند.
مستندات جدید با توصیف چگونگی ویرایش پرونده robots.txt (این یک فایل متنی با قوانین ساده است) به پایان می رسد ، بنابراین تمام آنچه شما نیاز دارید یک ویرایشگر متن ساده است. بسیاری از سیستم های مدیریت محتوا راهی برای ویرایش آن دارند و اگر پرونده robots.txt از نحو صحیح استفاده می کند ، ابزارهایی برای آزمایش در دسترس است.
مستندات جدید را اینجا بخوانید:
Robots Refresher: Robots.txt – روشی انعطاف پذیر برای کنترل نحوه کاوش در وب سایت شما
تصویر برجسته توسط Shutterstock/Bluestork
