فایل Robots txt چیست و چطور یک فایل Robots عالی بسازیم؟ نوین | xeroseo
فایل robots.txt دقیقاً چه کاری انجام می دهد؟
به طور کلی، دو نوع دستور برای این فایل ها داریم؛ اولین دستور برای محدود کردن موتور های جستجو از کراول کردن است و دومین دستور هم برای اجازه دادن به موتور های جستجو برای کراول کردن خواهد بود. اگر وبسایت خود را به ابزار سرچ کنسول گوگل متصل کرده باشید، وقتی این ابزار تست را باز کنید از شما میخواهد که سایت متصل شده مورد نظر را انتخاب کنید. دستور / بعداز Disallow به ربات گوگل میگوید باید وارد پوشهای در ریشه فایل شوی. کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است. مطمئناً شما هم میخواهید ربات گوگل Crawl Budget سایتتان را به بهترین شکل ممکن مصرف کند. به عبارت دیگر، ربات گوگل باید ارزشمندترین و مهمترین صفحات شما را بهتر و بیشتر بررسی کند.
آموزش XML
اما چگونه؟ در این مجله خبری زیرو سئو قصد داریم شما را با اهمیت ربات ها و نقش آنها در سئو به عبارتی نقش robots.txt در سئوو همچنین توجه به این فایل ها در طراحی سایت توضیح دهیم. برای این منظور ابتدا در مورد مفهوم این فایل توضیحاتی را ارائه می دهیم. یکی دیگر از کارهای سئو فنی مربوط به فایل روبوتس است.فایل Robots.txt یکی از فایلهای مهم در سایتها است.
نقد و بررسیها
خزنده یا Crawler یک نوع ربات است که با شناخت و دنبال کردن آدرس ها، صفحات جدیدی را شناسایی و برای ایندکس به گوگل معرفی میکند. که نشان از عدم ایندکس کلی سایت شما دارد تا لیستی از صفحات مهم وب سایت شما. گوگل به صورت رسمی اعلام کرده است که برخی از دستورات قرار داده شده در Robots.txt از تاریخ 1 سپتامبر 2019 به بعد کارایی ندارند و باید از دستورات جایگزین برای آنها استفاده کرد. گوگل به صورت رسمی همچنان فایل Robots.txt مورد پشتیبانی قرار میدهد، اما برخی از دستورات این فایل را دیگر پشتیبانی نکرده و آنها را نادیده میگیرد. فایل txt برای مخفی کردن اطلاعات خصوصی مناسب نیست و فقط باید دستورالعملهای رباتها را در آن قرار داد. در آخر این رو هم در نظر داشته باشید که شاید شما در همون هفته اول تمام تاثیرات رو ملاحظه نکنید یا نتونید رو تمام کلمات کلیدی کار بکنید.
- به عنوان مثال ربات های موتور جستجوی گوگل از Googlebot برای انجام این کار استفاده می کنند، ربات های یاهو از Slurp و ربات های موتور جستجوی بینگ نیز از BingBot استفاده می کنند.
- در این نوع سایت ها ربات ها خیلی سریع صفحات جدید را پیدا کرده و آنها را ایندکس می کند.
- برای اطمینان هم میتوانید دوباره از همین ابزار برای مطمئن شدن استفاده کنید.
حتماً شما هم نمیخواهید که ربات خزنده گوگل برای مشاهده و ایندکس محتوای تکراری و کم ارزش، سرورهای شما را اشغال کند. در واقع فایل Robots.txt یک قرارداد بین سایت شما و رباتهای خزنده است که به آنها اعلام میکند چه محتوایی قابل بررسی و چه محتوایی غیرقابل بررسی است. با این کار رباتهای موتورهای جستجو زمان کافی و اختیارات لازم برای بررسی محتوای وبسایت شما را داشته و بهتر سایت شما را بررسی میکنند. رباتهای موتورهای جستوجو فقط دستورات Disallow و Allow را قبول دارند و میدانند. البته میتوانیم با دستور Crawl-delay، گشتن و کراول کردن آنها را برای صفحهای خاص به تاخیر بیاندازیم. سایت مپ، سایت شما نیز در دستورات فایل Robot.txt قرار میگیرد که به رباتهای موتورهای جستوجو میگوید فایل XML نقشه سایت کجاست.
