زیرو سئو

اخبار و آموزش روز دنیای سئو

راهنمای جامع استفاده از فایل Robots txt ویژگی ها و موارد استفاده | xeroseo

توسط · منتشر شده · بروزرسانی شده

اما فراموش نکنید که ربات هایی هم هستند که اصلا توجهی به این محدودیت ها ندارند و به همه بخش ها مراجعه می کنند. پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید. بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت.

فایل robots.txt چکار می‌کند؟

ایندکس شدن برخی از صفحات سایت شما باعث میشه تا نتایج بدی به دنبال داشته باشه. فرض کنین تا به مناسبی در سایت خودتون جشنواره برگزار می کنین و لازم نیست تا این بخش ایندکس بشه، چون بعد مدتی این صفحه رو حذف می کنین. علاوه بر این یک فایل robots.txt به موتورهای جستجو بیان می کند که نقشه سایت XML در کجا واقع شده است.

آموزش بازاریابی اینترنتی

مثل تصویر زیر که در آن اجازه دسترسی به پوشه‌ای به نام photos و اجازه دسترسی به صفحه‌ای به نام files.html را ندادیم. خوشبختانه دسترسی ربات‌ها به صفحه‌ها یا فایل‌ها را می‌توانیم کنترل کنیم. © ۱۴۰۱ تمامی حقوق مادی و معنوی این وبسایت متعلق به گروه دیجیتال نردبانمی‌باشد و هر گونه کپی‌برداری پیگرد قانونی دارد.

http://atours.ir

پس برای این‌که به مجله خبری زیرو سئو بگویید صفحه‌ای را ایندکس نکنند باید از دستور Disallow و برای این‌که بگویید بعدا این صفحه را کراول کنند از دستور Crawl-delay باید استفاده کنید. باید بدانید که موتورهای جست‌وجو ربات‌های متفاوتی دارند به همین دلیل با کد User Agent و نام ربات مورد نظر، می‌توانیم ربات خاصی را مشخص کنیم. البته می‌توانیم تمامی ربات‌های موتورهای جست‌وجوی مختلف را هدف قرار دهیم و به اصطلاح از Wild card استفاده کنیم. Sitemap یا نقشه سایت یک فایل عمدتا XML است، وظیفه راهنمایی و هدایت ربات‌های موتورهای جستجو برای خزش بهتر محتوای سایت‌ها را بر عهده دارد. می‌توانیم به کمک فایل robots.txt مشخص کنیم که آدرس این فایل دقیقا کجاست و موتورهای جستجو از کجا باید آدرس نقشه سایت ما را پیدا کنند. با این تکنیک شما می توانید آدرس صفحات را از دید کاربر و موتور جستجو مخفی نگه دارید.

  • هر مجموعه دستور از چندین قانون یا دستورالعمل (دستورالعمل) تشکیل شده است، یک دستورالعمل در هر خط.
  • فایل Robots.txt یک فایل متنی ساده (با پسوند txt) است که توسط موتورهای جستجو و برخی سیستم‌های دیگر خوانده می‌شود و نام دیگر آن «Robots Exclusion Protocol» به معنی پروتکل حذف ربات‌ها است.
  • گوگل به عنوان بزرگترین مرجع و گسترده‌ترین شبکه در این زمینه، ربات‌های اختصاصی و عمومی زیادی گسترش داده است.
  • شما به عنوان وب مستر و یا صاحب یک وب سایت باید فایل Robots.txt را به درستی و با رعایت استاندادرهای موجود تهیه و تنظیم کنید؛ زیرا وجود هرگونه خطا در این فایل ممکن است سایت شما را به طور کلی از صفحه نتایج جستجو حذف کند.
  • بهترین راه ارائه نقشه سایت به گوگل استفاده از ابزار سرچ کنسول است.
می‌توانید حدود یک هفته بعدازاینکه فایل robots.txt را به‌روزرسانی کردید و موقعیت نقشه سایت را در آن قراردادید، برای بررسی وجود چنین خطاهایی از ابزار سرچ کنسول گوگل استفاده کنید. موتور جستجوی گوگل چندین نوع روبات مختص به خود را دارد که معروف‌ترین آن‌ها بانام Googlebot شناخته می‌شود و وظیفه بررسی و ایندکس صفحات وب را عهده‌دار است. روبات Gogglebot-image نیز موظف به بررسی تصاویر سایت‌ها و ایندکس کردن آن‌ها است. “/” در اینجا نشان دهنده “ریشه” در سلسله مراتب یک وب سایت یا صفحه‌ای است که همه صفحات دیگر از آن منشعب می‌شوند، بنابراین شامل صفحه اصلی و تمام صفحات لینک شده از آن می‌شود. با این دستور، ربات های موتورهای جستجو به هیچ وجه نمی‌توانند وب سایت را بخزند.

مطالب مرتبط