فایل‌ robots txt چیست؟ 5 تاکتیک سئو برای فایل‌ robots.txt | xeroseo

از طرف دیگر، اکثر سرورها یا میزبان‌های وبسایت از نظر پنهای باند و ترافیک محدودیت دارند؛ به همین دلیل مصرف ترافیک برای ربات‌ها مقرون به صرفه نیست. گوگل تعدادی ربات خزنده دارد که به صورت خودکار وبسایت‌ها را اسکن می‌کنند و صفحه‌ها را با دنبال کردن لینک‌ها از صفحه‌ای به صفحه دیگر پیدا می‌کنند. گوگل اعلام کرد که برای حذف صفحه‌ها از نتایج جستجو، بهتر است از را‌ه‌های دیگری به جز فایل Robots.txt استفاده کنید. البته در حال حاضر می‌توان از این فایل برای خارج کردن فایل‌هایی مثل تصاویر، ویدیو یا صدا از نتایج جستجو استفاده کنید اما برای صفحات وب مناسب نیست. در هنگام طراحی سایت، مطمئن شوید که از این فایل در هیچکدام از URL هایی که می خواهید توسط گوگل ایندکس شوند و نتایج آنها نمایش داده شوند، استفاده نکرده اید.

http://atours.ir

اما یک دستور اشتباه می تواند وضعیت کراول سایت را با خطر مواجه کند. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید. البته من اطلاعی از روند انتقال سایت تون ندارم، در هر صورت واضحه که ریدایرکت 301 به خوبی اعمال نشده. اگر آدرس صفحات قدیمی رو دارید یک بار همه رو به آدرس جدید ریدایرکت کنید. اگر فاصله مراجعه ربات‌ها خیلی زیاد هست یعنی سایت یا سرور مشکلی داره که باید حل بشه.

مسدود کردن یک فایل (به عبارت دیگر، یک صفحه وب خاص)

این به این معنی است که گوگل فرض می کند که هیچ محدودیتی برای خزیدن وجود ندارد. برای دانلود یک کپی از فایل robots.txt از تستینگ robots.txt در سرچ کنسول استفاده کنید. روی ارسال در گوشه سمت راست پایین ویرایشگر robots.txt کلیک کنید.

• بعد از کلی گشتن تو نت دنبال پیدا کردن مشکلم، شما واقعا یه محتوای کاربردی نوشتید، بقیه یه چیز تکراری رو کپی زدن از هم.
• درنتیجه اگر این فایل در آنجا نباشد برای ربات‌ها به این معنی است که این سایت فایل Robots.txt ندارد.
• در نهایت بعد از انجام تغییرات خود می‌توانید بر روی گزینه ذخیره تغییرات در robots.txt کلیک کنید تا تغییرات شما ذخیره شوند.
• چرا باید بگویم که این فایل وجود دارد و اتفاقات داخل آن را گفتم.
• اگر مطمئن نیستید که Robots.txt را دارید یا نه می‌توانید به سادگی در انتهای آدرس سایت خود یک Robots.txt را تایپ کنید تا مشخص شود که سایت شما دارای این فایل است یا خیر.

درصورتی‌که فایل Robots.txt ندارید، می‌توانید به کمک افزونه یوست سئو آن را ایجاد کنید. کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است”. حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد کنید و محتوای فوق را در آن کپی نمایید.

دسترسی سریع

حتما باید برای هر مجله خبری زیرو سئو جستجو یک گروه از دستورالعمل ها را تعریف کنید. به همین علت نیز در ادامه نحوه عملکرد برخی از مهم ترین این موتورهای جستجو را به شما معرفی میکنم. توجه داشته باشید که لزومی ندارد این لیست دقیقا در همان هاستی که فایل robots.txt در آن است قرار داشته باشد.

چگونه یک فایل robots.txt ایجاد کنیم؟