در چند مورد نادر که در یک صفحه همزمان از تگهای نوفالو و ربات دیسآلو استفده میشود ممکن است مشکلاتی به وجود بیاید. چرا که اگر به طور همزمان استفاده شود گوگل در نتایج جستجو چنین پیغامی را نمایش میدهد که «توضیحی برای این صفحه در دسترس نیست» و در کارکرد کلی سایت شما تاثیر میگذارد. باید دقت داشته باشید که صفحات شما همزمان از این دو تگ و ربات استفاده نکنند تا صفحات به درستی به موتورهای جستجو معرفی شوند. شما با اضافه کردن کلمه robots.txt به انتهای ادرس سایت خود میتوانید فایل robots.txt کنونی را ملاحظه بفرمایید.
فایل Robots.txt چیست و چه نقشی در سئو سایت دارد؟
یک مجله خبری زیرو سئو خوب، مانند یک خزنده وب یا یک ربات فید خبری، سعی میکند قبل از مشاهده هر صفحه دیگری در یک دامنه، ابتدا از فایل robots.txt بازدید کند و دستورالعمل های آن را دنبال کند. ربات بد یا فایل robots.txt را نادیده میگیرد یا آن را بررسی میکند تا صفحات وب ممنوعه را پیدا کند. قوانین خاصی برای برخی از موتورهای جستجو وجود دارد که بهتر است اطلاعات کاملی در این زمینه داشته باشید تا بتوانید به بهترین شکل ممکن فایل robots.txt وب سایت خود را پیاده سازی کنید. Robot.txt یک فایل متنی است که برای بهبود سئو سایت از طریق مدیریت ایندکس گوگل، مورد استفاده قرار می گیرد. علاوه بر دستورات فایل robots.txt که در سطح سرور انجام می شوند، دستوراتی وجود دارند که در سطح صفحات وب سایت انجام می شوند. این دستورات از طریق متا تگهای رباتها و تگهای X-Robots اجرا می شوند.
http://atours.irاما یک دستور اشتباه می تواند وضعیت کراول سایت را با خطر مواجه کند. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید. البته من اطلاعی از روند انتقال سایت تون ندارم، در هر صورت واضحه که ریدایرکت 301 به خوبی اعمال نشده. اگر آدرس صفحات قدیمی رو دارید یک بار همه رو به آدرس جدید ریدایرکت کنید. اگر فاصله مراجعه رباتها خیلی زیاد هست یعنی سایت یا سرور مشکلی داره که باید حل بشه.
- در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند.
- علاوه بر دستورات فایل robots.txt که در سطح سرور انجام می شوند، دستوراتی وجود دارند که در سطح صفحات وب سایت انجام می شوند.
- یکی دیگر از کارهای سئو فنی مربوط به فایل روبوتس است.فایل Robots.txt یکی از فایلهای مهم در سایتها است.
- در این فایل طبق دستوراتی که در بالا گفته شد، محدودیت و دسترسی ها را برای ربات ها مشخص کنید.
خوب است بدانید که بصورت پیش فرض این فایل وجود ندارد و برای ویرایش محتوای آن باید یک فایل متنی بصورت robots.txt ایجاد کنید و دستورات لازم را در آن قرار دهید. ربات موتورهای جستجو با خزیدن و بررسی کردن صفحات مختلف در سایتهای مختلف، صفحات را ایندکس کرده و با استفاده از الگوریتم رتبه بندی خود، نتایج را مرتب کرده و در صفحه نتایج موتورهای جستجو نشان میدهند. موتورهای جستجو لینکهای موجود در هر صفحه را دنبال میکنند و از سایت A به سایت B رفته و از سایت B به سایت C و این فرایند را به همین شکل ادامه میدهند. اما به طور کلی توصیه می شود در طراحی سایت از یک متا تگ روبات ها با ویژگی “noindex, follow” برای جلوگیری از ایندکس شدن صفحه ای از سایت خود توسط موتورهای جستجو استفاده کنید. در این روش شما رتبه صفحه و یا لینک های آن را از دست نخواهید داد. برخی موتورهای جستجو از چند نوع ربات برای بررسی سایتها استفاده میکنند؛ مثلاً گوگل دارای ربات Googlebot برای جستجوی ارگانیک در بین سایتها است.
به روز رسانی robots.txt برای موتورهای جستجو
بنابراین برای جلوگیری از جمع آوری اطلاعات صفحات غیرضروری سایت و کاهش حجم رفت و آمد رباتها به وب سایت خود حتما باید به فکر ایجاد فایل Robots.txt باشید. یادتون باشه که هدف ازفایل robots.txt مشخص کردن ساختاریه که به موتورهای جستجو بگین با محتوای سایت شما چیکار کنن ن این که اجازه دسترسی به محتوا رو ازش بگیرین. بعبارت دیگه موتور جستجو تمام سایت شما رو زیر و رو میکنه ولی فقط صفحه ها و پوشه هایی رو برای قرار دادن تو نتایج جستجو مشخص میکنه که شما میخواین. موتور جستجوی گوگل رباتهای مختلفی دارد که هرکدام وظیفه خاصی دارند، شناخت این رباتها به ما کمک میکند تا ارتباط بهتری با آنها برقرار کنیم و به صورت خیلی دقیقتری بتوانیم فایل ربات سایتمان را طراحی کنیم. به طور کلی استفاده از فایل Robots.txt برای محدود ساختن دسترسی رباتها به برخی صفحات گزینه بهتری محسوب میشود زیرا اجرا و پیاده سازی تگ نوایندکس بر روی منابع چندرسانهای کمی دشوار است.
