فایل Robots txt چیست به همراه تگ ربات های جدید گوگل 2022 | xeroseo
افزونه رنک مث هم که به تازگی به یکی از رقبای جدی پلاگین یواست تبدیل شده، برای ویرایش مستقیم فایل robots.txt بخشی را در نظر گرفته است. با اینحال در سیستم مدیریت محتوا وردپرس به لطف پلاگین‌های مختلف که برای آن طراحی شده است، کار حتی از این هم راحت‌تر است. اولین و مهم‌ترین نکته حساس بودن ربات‌ها و خزنده‌ها به کوچک یا بزرگ بودن حروف است. همچنین اگر کنجکاو شدید که از اسامی معروف‌ترین خزنده‌ها و ربات‌های دنیای اینترنت باخبر شوید، می‌توانید دیتابیس اسامی ربات‌ها را مشاهده کنید. در این حالت یکی از راه حل‌های پیشنهادی گوگل، استفاده از تگ noindex در هدر صفحه مورد نظر است. البته بهتر است برای اطمینان بیشتر و جلوگیری صددرصد از ایندکس اینگونه صفحات از تگ noindex هم استفاده کنیم که در جلوتر به صورت مفصل به آن خواهیم پرداخت.
- در همین صفحه، حجم دانلود شده توسط ربات‌ها و همینطور زمان بارگذاری صفحه‌ها را می‌توانید ببینید.
- فرض کنید که در وبسایت‌تان فولدری به نام mypic دارید که در آن یکسری تصاویر را نگهداری می‌کنید که علاقه‌ای ندارید ربات جستجو تصاویر گوگل آن را بررسی کند و در نتایج خود نشان دهد.
- امیدواریم این نگاه حرفه‌ای به رقابتی سالم دامن بزند که در نهایت به پیشرفت وب فارسی منجر شود.
- البته می‌توانیم تمامی ربات‌های موتورهای جست‌وجوی مختلف را هدف قرار دهیم و به اصطلاح از Wild card استفاده کنیم.
- علاوه بر این یک فایل robots.txt به موتورهای جستجو بیان می کند که نقشه سایت XML در کجا واقع شده است.
- از طرف دیگر از تگ های X-Robots می توان با استفاده از دستورات .htaccess برای فایل های غیر HTML استفاده کرد.
موتور جستجوی گوگل تنها اجازه دسترسی به /not-launched-yet/ را ندارد اما اجازه دسترسی به /secret/ و /test/ برای آن فراهم شده است. در این مثال هیچ یک از موتورهای جستجو از جمله گوگل و بینگ به تمامی پوشه های موجود در مسیر /about/ directory به جز مسیر sub-directory /about/company/ دسترسی ندارند. توجه داشته باشید که تفسیر آنها از این دستورالعمل اندکی متفاوت می باشد و به همین علت نیز بهتر است که قبل از استفاده حتما اسناد موجود در وب سایت این موتورهای جستجو را مطالعه کنید. اگر موتورهای جستجو قادر باشند تا یک سرور را overload کنند معمولا استفاده از این دستورالعمل در فایل robots.txt یک راه حل موقت برای حل این مشکل خواهد بود. این دستورالعمل در واقع مسیر دسترسی را برای موتورهای جستجو تعریف می کند و در صورتی که هیچ مسیری مشخص نشده باشد به طور کامل توسط گوگل و بینگ نادیده گرفته می شود.
نمونه دستورات
بعضی وقت‌ها هم ربات‌ها گوگل چیزهایی را که دوست نداریم هر کسی ببیند را برمی‌دارند می‌برند در سرورهای گوگل ذخیره می‌کنند و به عالم و آدم نشان می‌دهند. فایل Robots.txt یک ابزار بسیار بحرانی برای سئو می‌باشد و اگر نتوانید به درستی آن را هندل کنید ممکن است در امنیت سایت شما تاثیر منفی داشته باشد. اما اگر اصول و قواعد و تکنیک‌های آن را یاد بگیرید می‌توانید به راحتی از آن برای بهبود کارایی وبسایت خود استفاده کنید. نردبان قصد دارد به شکلی حرفه‌ای، جایگاه مشتری را در فضای وب دگرگون کند. می‌خواهیم با طراحی وب‌سایت‌های کاربرپسند، تولید محتوای مفید و خدمات سئو حرفه‌ای به فضای وب فارسی خدمتی کرده باشیم. امیدواریم این نگاه حرفه‌ای به رقابتی سالم دامن بزند که در نهایت به پیشرفت وب فارسی منجر شود.
بنابراین زمانی که حجم فایل های شما بیشتر از این مقدار باشد توسط موتور جستجوی گوگل نادیده گرفته می شود. البته باید توجه داشته باشید که این دستورالعمل غیررسمی noindex هرگز در موتور جستجوی بینگ کار نکرد. در مثال بالا هیچ یک از موتورهای جستجو به جز گوگل اجازه دسترسی به بخش های /secret/، /test/ و /not-launched-yet/ را ندارند. یکی از مهم ترین نکاتی که باید درباره فایل robots.txt بدانید این است که موتورهای جستجو به شکل های مختلفی از این فایل استفاده می کنند. با این حال باید توجه داشته باشید که گوگل از امکان تعریف یک crawl rate یا نرخ خزیدن که به آن نرخ درخواست نیز گفته می شود پشتیبانی می کند که شما می توانید از طریق کنسول جستجوی گوگل به آن دسترسی داشته باشید. در این مثال هیچ یک از موتورهای جستجو اجازه دسترسی به لینک هایی که با پسوند .php تمام می شوند را ندارند.
Crawl Rate Limit
Txt بیشتر برای مجله خبری زیرو سئو فعالیت‌های ربات‌های خوب مانند خزنده‌های وب در نظر گرفته شده‌اند، زیرا ربات‌های بد احتمالاً دستورالعمل‌ها را دنبال نمی‌کنند. در این شرایط است که برای بهینه سازی عملکرد سایت، باید ربات های موتور جستجوی گوگل را محدود کرد؛ برای انجام این کار هم باید از فایل Robots.txt استفاده کرد. برای مشاهده و ویرایش فایل ربات در وردپرس یا هر سایت دیگری به فایل منیجر در پنل هاست مراجعه کنید و درون فولدر public_html بدنبال فایل robots.txt بگردید.
