بعد از این که فایل را ساختید آن را باید در سرور میزبان سایت آپلود کنید. با نگاه کردن به فایل‌های robots.txt دیگر سایت‌ها می‌توانید از آنها برای سایت خودتان الگو بگیرید. شما به عنوان وب مستر و یا صاحب یک وب سایت باید فایل Robots.txt را به درستی و با رعایت استاندادرهای موجود تهیه و تنظیم کنید؛ زیرا وجود هرگونه خطا در این فایل ممکن است سایت شما را به طور کلی از صفحه نتایج جستجو حذف کند.
به عنوان مثال، Notepad، TextEdit، vi و emacs می توانند فایل های robots.txt معتبر ایجاد کنند. واژه‌پردازها اغلب فایل‌ها را در قالبی اختصاصی ذخیره می‌کنند و می‌توانند کاراکترهای غیرمنتظره‌ای مانند نقل قول‌ها به آن اضافه کنند که می‌تواند برای خزنده‌ها مشکل ایجاد کند. اگه شما از افزونهyoast’s wordpress SEOو یا افزونه دیگه ای که xml نقشه سایت تولید میکنه استفاده میکنین افزونه تلاش میکنه که بطور خودکار خطوط مربوط نقشه سایت رو به فایل robots.txt اضافه کنه. در خطوط راهنما برای وبمسترها، گوگل به وبمسترها توصیه میکند که از فایل robots.txt برای مخفی کردن محتوای کم کیفیت استفاده نکنند. اگه به استفاده از فایل robots.txt برای توقف گوگل از شاخص گذاری دسته بندی، تاریخ و دیگر صفحات آرشیو خودتون فکر میکردین پس نباید انتخاب خوبی باشه.
تست فایل Robots با ابزار گوگل
مجله خبری زیرو سئو دارد هر کدام از ربات‌ها دستورات را به شکل متفاوتی درک کند. یعنی امکان دارد دو ربات متعلق به یک موتور جستجو یا هر سرویسی، یکی از دستورات پیروی کند و دیگری پیروی نکند. فایل Robots.txt در وبسایت‌ها نقش همین راهنماها و نگهبانان را دارد اما نه برای کاربرانی که وارد سایت می‌شوند، بلکه برای ربات‌هایی که برای بررسی سایت یا هر کار دیگری می‌خواهند در بخش‌های مختلف سایت سرک بکشند. اگر می‌خواهید امنیت فایل ربات خود را چند درجه بالاتر ببرید از مکانیزم امنیتی Honeypot (یک مکانیزم مبتنی بر داده‌هایی که قابل دسترسی هستند اما دسترسی آنها به صورت مداوم مانیتور می‌شود) استفاده کنید.
Robots.txt یا تگ noindex
اعمال تغییرات ناخواسته در این فایل می‌تواند کل سایت یا بخش بزرگی از سایت شما را از دسترس موتورهای جستجو خارج کند. با تنظیم صحیح این فایل می‌توانید فرایند خزش در سایت خود را بهینه سازی کنید و از فهرست شدن صفحات با محتوای تکراری جلوگیری کنید. Robots.txt نحوه خزیدن در صفحات مختلف وب‌سایت را به ربات‌ها اعلام میکند در حالی که متا ربات و ربات X رفتارهای یک صفحه یا محتویات یک صفحه را به ربات‌های خزنده اعلام می‌کنند. اگر صفحاتی را می‌خواهید مشخص کنید که موتورهای جستجو به آنها وارد نشده و از دیدن آنها پنهان بمانند، می‌توانید در Robots.txt دسترسی به آنها را محدود کنید. به این نکته توجه داشته باشید که این صفحات توسط گوگل و دیگر موتورهای جستجو بررسی نمی‌شوند.
البته که این دستورالعمل ها می تواند بسیار بیشتر از این حرف ها باشد اما نباید جزء به جزء دستور در آن وارد کنیم.
تعدادی کمی از سایت‌ها مانند google از چندین user-agent پشتیبانی میکند که با استفاده از رشته‌های user-agent خاص به اپراتور اجازه قطع دسترسی از زیرمجموعهٔ سرویس‌های آنها را می‌دهد.
این فایل را فقط یکبار باید آماده کنید و دیگر کاری با آن نخواهید داشت مگر این که تغییرات مهمی در ساختار سایت ایجاد کنید.
مثلا در مثال بالا ربات‌های خزنده از دسترسی به تمام فایل‌های پی دی اف و اکسل منع شده‌اند.
اکثر ربات ها قبل از اینکه به بررسی و Index صفحات سایت بپردازند؛ قوانینی که در این فایل گذاشته اید را نگاه می اندازند و دقیقا به آنها پایبند خواهند بود و تنها به صفحاتی مراجعه می کنند که دسترسی اشان را باز گذاشته اید.
بهترین روش پیشگیری از مسدود کردن دسترسی به دایرکتوری های بک اند شما و دایرکتوری های غیرضروری دیگر برای سئو شما از طریق robots.txt است. اگردقت داشته باشید در وردپرس از نسخه ۴ به بعد، مشخص شد که در فایل ربات این سیستم مدیریت محتوا دایرکتوری هایی مثل wp include یا plugins دیگر مورد ایندکس شدن قرار نمی گیرند. این دستور به ربات‌ها می‌گوید که به صفحه وب یا مجموعه‌ای از صفحات وب که پس از دستور آمده است دسترسی نداشته باشند. صفحات غیرمجاز لزوماً “پنهان” نیستند – آنها فقط برای کاربران عادی Google یا Bing مفید نیستند، بنابراین به آنها نشان داده نمی‌شوند. در بیشتر مواقع، کاربر در وب سایت اگر بداند که در کجا آنها را پیدا کند، می تواند این صفحات را پیمایش کند. فایل robots.txt به مدیریت فعالیت‌های این خزنده‌های وب کمک میکند تا بر سرور وب میزبان وب‌سایت، یا فهرست‌بندی صفحاتی که برای نمایش عمومی نیستند، هزینه بار اضافه نکنند.
برخی از موتورهای جستجو، از دستورات فایل robots.txt پیروی نمی‌کنند
