فایل Robots txt چیست به همراه تگ ربات های جدید گوگل 2022 | xeroseo

همانطور که می‌بینید دیجیکالا دستور سایت مپ را در فایل robots.txt خود قرار داده است. این دستور به ربات گوگل می‌گوید علی رغم اینکه فولدر Photos از دسترس ربات‌ها خارج شده است، اجازه مشاهده و ایندکس فایل novin.jpg را دارد. اما باید حواستان باشد که این ربات‌ها زبان آدمیزاد سرشان نمی‌شود! یعنی همینطور مثل چی سرشان را می‌ندازند پایین و سر تا پای سایت را بررسی می‌کنند.

نمونه دستورات

مجله خبری زیرو سئو – این مطلب خیلی ارزشمندی بود من لذت بردم و اینکه سایتتون هم عالیه خدا قوت… من حدود 15 روز پیش از یک شرکتی قالب جنه را تهیه کردم و ازش روی وبلاگ سایتمون استفاده کردیم. البته الان توی گوگل انتهای لینک هایی که noindex شدند کلمه feed درج شده. در بخش جامعه می‌توانید سوالات خود را بپرسید و با سایر هم‌میهنان وردپرسی در ارتباط باشید. خزیدن پوشه (دایرکتوری) و محتویات آن را ممنوع کنیدیک اسلش رو به جلو به نام پوشه اضافه کنید تا خزیدن کل پوشه و محتویان آن ممنوع شود. خطوطی که با هیچ یک از این دستورالعمل ها مطابقت ندارند نادیده گرفته می شوند.

Robots.txt یا تگ noindex

با مسدود کردن صفحات بی‌اهمیت با robots.txt، گوگل بات می‌تواند بیشتر بودجه خزشِ شما را صرف صفحاتی کند که واقعاً مهم هستند. در غیر این صورت ممکن است سایت شما برای همیشه از نتایج گوگل محو و پنالتی شود که نتیجه آن بر باد رفتن زحمات شما خواهد بود. در URL Cloacking از روشی استفاده می شود که شرایط و قوانین گوگل را کاملا نقض می کند و به همین دلیل است که به آن روش سئوی کلاه سیاه می گویند. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید.

درباره ما ساخت فایل ربات (Robots.txt Generator)

همچنین گوگل دارای ربات Googlebot-Image برای جست جوی تصاویر نیز است. اکثر موتورهای جستجو از قوانین یکسان استفاده می‌کنند، بنابراین نیازی نیست برای هر موتور جستجو یک دستورالعمل مجزا نوشته شود. چه‌بسا این دستورات را بسیار ساده بپندارید اما همین دستورات به‌کلی می‌توانند سیاست سئوی سایت شمارا تغییر دهند. البته در نظر داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف لاتین حساس بوده و آدرس صفحات باید به‌دقت وارد شوند. پس از ساخت فایل موردنظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. دستورات اعمال‌شده برای روبات‌هایی هستند که ازاین‌پس به سایت شما وارد می‌شوند.

• با ترکیب این دو دستور شما قادر خواهید بود قوانین مختلفی برای دسترسی به صفحات داخلی سایت خود وضع کنید.
• از آنجایی که این دستور در استاندارد وب ربات‌ها تعریف نشده است، هر ربات می‌تواند به شکل خاصی آن را تغبیر کند.
• اگر نگران یادگیری این دستورات هستید، باید خیالتان را راحت کنم، چرا که این دستورات خیلی خیلی ساده‌تر از تصورتان هستند و در کل تنها با 4 دستور زیر به راحتی می‌توانیم تمام اقدامات مورد نیاز در فایل robots.txt را انجام دهیم.
• به طور کلی بهترین مکان قرار دادن نقشه سایت در انتهای فایل Robots.txt تان است.