زیرو سئو

اخبار و آموزش روز دنیای سئو

کاربرد فایل Robots txt در سئو؟ قسمت هشتم دیزاینر جوان | xeroseo

توسط · منتشر شده · بروزرسانی شده

دستور سایت مپ(نقشه سایت) برای معرفی کردن نقشه سایت (سایت مپ) به کراولر ها کاربرد دارد. نقشه سایت یک فایل XML است که شامل لیستی از تمام صفحات وب سایت شما و همچنین متادیتاها می باشد (متادیتا شامل اطلاعاتی است که به هر URL منسوب می شود). فایل txt کار می کند، نقشه سایت به موتورهای جستجو اجازه می دهد تا در فهرستی از تمام صفحات وب سایت شما در یک مکان بخزند. اگر اجازه بررسی صفحه‌ای را با دستورات فایل ربات نداده باشیم باز هم امکان دارد گوگل آن را ایندکس کند و در نتایج جستجو ظاهر شود. ربات گوگل یا باید به صورت مستقیم صفحه را دریافت و بررسی کند (معمولاً به کم نقشه سایت) یا باید از لینک‌های دیگری که از صفحه‌ها و سایت‌‌های دیگر به آن صفحه داده‌اند آن را پیدا و بررسی کند. از آنجایی که گوگل و سایر موتورهای جستجو برای ایندکس کردن و سئو از ربات ها استفاده می کنند، بنابراین می توان گفت که ربات ها در سئو نقش دارند.

نحوه کار با ربات درج پیام در بخش تماس با ما سایت ها

فایل robots.txt برای پیاده سازی بخش های ممنوع سایت برای موتورهای جستجو مورد استفاده قرار می گیرد و یک استاندارد برای انجام این کار به شمار می آید. با استفاده از فایل robots.txt می توان نکات مفیدی در خصوص چگونگی عملیات خزیدن در وب سایت خود به موتورهای جستجو ارائه دهید. بعد از ایجاد و یا انجام اصلاحات در فایل ربات، باید از صحت تغییرات خود مطمئن شوید. بهترین روش برای اینکار استفاده از ابزار تست فایل robots.txt گوگل سرچ کنسول است. بهترین راه برای بالا بردن بازدید سایت شما بالا بردن رتبه سایتتان در موتورهای جستجو است. زمانی که رتبه سایت شما در این موتورها بالا رود شما بازدید بیشتری داشته و درنتیجه می‌توانید درآمد بیشتری نیز داشته باشید.

Crawl-delay

در صورتی که برای یک مجله خبری زیرو سئو سایت هیچ robots.txt وجود نداشته باشد یا دستورالعمل های قابل اجرا در این فایل وجود نداشته باشند موتورهای جستجو معمولا کل وب سایت شما را جستجو می کنند. گوگل پیشنهادات مختلفی را در خصوص ربات های خزنده در موتورهای جستجو ارائه داد که برخی از آنها مورد تایید قرار گرفته و پیاده سازی شدند. یک فایل robots.txt شامل دستورالعمل هایی برای تمامی موتورهای جستجو می باشد. بهترین روش برای انجام اینکار معرفی آدرس نقشه سایت در داخل گوگل سرچ کنسول است. برای انجام اینکار پیشنهاد می‌کنیم که حتما مقاله “صفر تا صد نقشه سایت” را مطالعه کنید.

  • فایل robots.txt تنها برای دامنه کاملی که در آن قرار دارد معتبر است که این دامنه می تواند http یا https باشد.
  • تمام کاری که باید انجام دهید این است که یک آدرس معمولی در مرورگر خود وارد کنید (برای مثال novin.com یا هر سایت دیگری).
  • مسدود سازی تمام تصاویر برای ربات Google Imagesگوگل نمی تواند تصاویر و ویدیوها را بدون خزیدن در آنها فهرست کند.

هر حالت دیگری که فایل ربات در ریشه سایت نباشد آن را از دسترس ربات‌های گوگل خارج می‌کند. اگر از تگ نوایندکس استفاده کنید مستقیما به ربات‌های کراولر اعلام می‌کنید که این صفحه نباید در نتایج جستجو نمایش داده شود. یعنی کراولر صفحه‌ی شما را کراول و شناسایی می‌کند اما نمی‌تواند و حق ندارد محتوای شما را در نتایج نشان دهد. برای صفحاتی محرمانه‌ای که نباید به صورت عمومی نمایش داده شوند ایجاد پسورد و یا شناسایی IP پیشنهاد می‌شود.

http://atours.ir

همانطور که گفتیم، هاست و منابع سرور سایت ما برای پاسخ دادن به درخواست‌های ربات‌ها دقیقا همانند پاسخگویی به درخواست‌های کاربران واقعی مشغول می‌شود. وقتی این درخواست‌ها از حد توان سرور سایت ما خارج شوند اتفاق از دسترس خارج شدن سایت رخ می‌دهد. سلام همون فایل xml رو که توی کد های مقاله (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) نوشته بودید رو نشون میده. البته شما به‌عنوان مدیر سایت می‌توانید از افزونه WordPress SEO by Yoast جهت عدم نمایش دسته‌بندی سایت در ایندکس شدن صفحه‌نمایش صفحه‌هایی که ساخته‌شده‌اند استفاده کنید. آخر سر هم حتما فایل robots.txt خودتون رو توی robots.txt tester گوگل تست کنید تا از محدود شدنشون مطمئن بشید. جدول زیر شامل نمونه‌هایی از آدرس‌های اینترنتی robots.txt و مسیرهای URL است که برای آنها معتبر هستند.

کدهای دستوری برای استفاده در فایل Robot.txt

مطالب مرتبط