فایل robots txt چیست؟ 5 تاکتیک سئو برای فایل robots.txt | xeroseo
مسدود کردن یک فایل (به عبارت دیگر، یک صفحه وب خاص)
این به این معنی است که گوگل فرض می کند که هیچ محدودیتی برای خزیدن وجود ندارد. برای دانلود یک کپی از فایل robots.txt از تستینگ robots.txt در سرچ کنسول استفاده کنید. روی ارسال در گوشه سمت راست پایین ویرایشگر robots.txt کلیک کنید.
- بعد از کلی گشتن تو نت دنبال پیدا کردن مشکلم، شما واقعا یه محتوای کاربردی نوشتید، بقیه یه چیز تکراری رو کپی زدن از هم.
- درنتیجه اگر این فایل در آنجا نباشد برای رباتها به این معنی است که این سایت فایل Robots.txt ندارد.
- در نهایت بعد از انجام تغییرات خود میتوانید بر روی گزینه ذخیره تغییرات در robots.txt کلیک کنید تا تغییرات شما ذخیره شوند.
- چرا باید بگویم که این فایل وجود دارد و اتفاقات داخل آن را گفتم.
- اگر مطمئن نیستید که Robots.txt را دارید یا نه میتوانید به سادگی در انتهای آدرس سایت خود یک Robots.txt را تایپ کنید تا مشخص شود که سایت شما دارای این فایل است یا خیر.
چگونه یک فایل robots.txt ایجاد کنیم؟
درصورتیکه فایل Robots.txt ندارید، میتوانید به کمک افزونه یوست سئو آن را ایجاد کنید. کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است”. حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد کنید و محتوای فوق را در آن کپی نمایید.
دسترسی سریع
از طرف دیگر، اکثر سرورها یا میزبانهای وبسایت از نظر پنهای باند و ترافیک محدودیت دارند؛ به همین دلیل مصرف ترافیک برای رباتها مقرون به صرفه نیست. گوگل تعدادی ربات خزنده دارد که به صورت خودکار وبسایتها را اسکن میکنند و صفحهها را با دنبال کردن لینکها از صفحهای به صفحه دیگر پیدا میکنند. گوگل اعلام کرد که برای حذف صفحهها از نتایج جستجو، بهتر است از راههای دیگری به جز فایل Robots.txt استفاده کنید. البته در حال حاضر میتوان از این فایل برای خارج کردن فایلهایی مثل تصاویر، ویدیو یا صدا از نتایج جستجو استفاده کنید اما برای صفحات وب مناسب نیست. در هنگام طراحی سایت، مطمئن شوید که از این فایل در هیچکدام از URL هایی که می خواهید توسط گوگل ایندکس شوند و نتایج آنها نمایش داده شوند، استفاده نکرده اید.
