زیرو سئو

اخبار و آموزش روز دنیای سئو

فایل robots txt چیست؟ بهینه سازی فایل ربات در وردپرس | xeroseo

توسط · منتشر شده · بروزرسانی شده

هنگام درخواست مجله خبری زیرو سئو robots.txt، کد وضعیت HTTP پاسخ سرور بر نحوه استفاده از فایل robots.txt توسط خزنده‌های Google تأثیر می‌گذارد. جدول زیر نحوه برخورد ربات Googlebot با فایل‌های robots.txt را برای کدهای وضعیت مختلف HTTP خلاصه می‌کند. نقش اصلی آن بهینه سازی نرخ خزش است و اینکه به ربات ها بگویید کجا را کراول کنند و کجا‌ را کراول نکنند تا فرصت کراول برای صفحات مهم تر ایجاد شود. دستورات فایل ربات شما از ایندکس جلوگیری نمی کند و می بایست مابقی تنظیمات وردپرس را برای این مورد بررسی نمایید. من مشکلی برام پیش اومده من زمانی داخل روبوتس دات تی اکس تی دسترسی ربات های گوگل رو به سایت بسته بودم. الان به حالت دیفالت برگردوندم و دسترسی همه بازه اما همچنان گوگل سرچ کنسول به من اخطار میده که ربات ها توسط روبوتس دات تی اکس تی بلاک شدن و صفحات کراول نمیشن.

فایل robots.txt سایت من کجاست؟

زمانی که می‌خواهید یک URL را مسدود یا اجازه ورود دهید، فایل‌های Robots.txt کمی پیچیده می‌شوند چون با استفاده از تطبیق الگوها (Pattern-matching) می‌توانند طیف وسیعی از URLها را پوشش دهند. علاوه بر این شما می توانید با خالی گذاشتن فایل نیز این کار را انجام دهید. در صفحه ظاهر شده تنها یک گزینه وجود دارد که می توانید آن را تغییر دهید و این گزینه Crawl rate می باشد. با استفاده از اسلایدری که در کنار آن قرار دارد شما می توانید مقدار دلخواه خود را روی این ویژگی تنظیم کنید. Wildcard را نه تنها می توان برای تعریف user-agent مورد استفاده قرار داد بلکه می توان از آن برای تطبیق لینک ها نیز استفاده کرد.

http://atours.ir

دستور بالا به این معنا است که “دستورات فایل، برای همه ربات‌های جستجوگر یکسان عمل می‌کند”. از آنجایی که منبع محدودی از خزیدن دارید، می‌توانید robots.txt را نصب کنید تا از صفحات اضافی از طریق Googlebot جلوگیری کرده و آنها را به موارد مهم معرفی کنید. دستور دیر خزیدن یا crawl-delay، مقداریست که توسط برخی از ربات‌های خزنده وب پشتیبانی می‌شود.

الگوریتم Helpful Content چیست؟

اجازه دسترسی به یک خزنده را بدهیدفقط googlebot-news ممکن است کل سایت را بخزد. فایل robots.txt باید یک فایل متنی ساده با کدگذاریUTF-8باشد و خطوط باید با CR یا CR/LF یا LF از هم جدا شوند. موارد خاصی نیز وجود دارد که نمی‌خواهید هیچ بودجه خزشی را برای بازدید گوگل در صفحاتی با تگ noindex هدر دهید. اگر برای ایندکس کردن تمام صفحات خود با مشکل مواجه هستید، ممکن است با مشکل بودجه crawl مواجه شوید.

  • ولی احتمالا نمی‌دانید واقعا چه قدرتی در این فایل به ظاهر ساده نهفته است.
  • به‌واسطه‌ی ربات‌های موتورهای جستجوگر شما می‌توانید سایتتان را به این موتورها به‌راحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید.
  • در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.
  • به عنوان مثال شما می توانید از ایندکس شدن محتوای تکراری سایت خود جلوگیری کنید.
  • هرکسی برای انجام کارهایش راهروها را بالا و پایین می‌‌کند و کارمندان هم نمی‌توانند کارها را به درستی انجام دهند.

اما وقتی کدهای مربوطه را در صفحات خود جاسازی می کنید، ممکن است گوگل پیشنهاد دهد که به دلیل اینکه محتوای جایگذاری شده بدون فهرست است، این کار را انجام ندهید. صفحه ای را که ما به عنوان مثال در آن کدهای مربوطه را جایگذاری می کنیم به طور حتم ایندکس خواهند شد. در این بخش، گوگل به شما کنترل بیشتری می دهد تا بگویید، صفحه ای را که در آن کدهای مربوطه جایگذاری شده اند را چگونه فهرست کنید.

ترتیب تقدم برای قوانین فایل robots.txt

مطالب مرتبط