فایل robots txt چیست و چه تاثیری در سئو سایت دارد؟ 2023 | xeroseo

نقشه سایت یا سایت مپ یک فایل با پسوند XML است که تمام محتواهای مهم روی یک سایت را فهرست می‌کند و نحوه ارتباط صفحات مختلف را نمایش می‌دهد. دستور sitemap که در ادامه این دستور آدرس نقشه سایت می‌آید یک روش برای نشان دادن نقشه سایت به موتور جستجو است. این دستور برای اطمینان حاصل کردن از این است که هیچ صفحه‌ای در حین خزیدن در سایت فراموش نشود. با این وجود وجود نقشه سایت تاثیری در اولویت‌بندی خزش صفحات توسط ربات ندارد.

از Disallow برای مسیرها استفاده کنید نه صفحات خاص

دستورالعمل Disallow در واقع مسیری را تعیین می کند که نباید به آن دسترسی داشت. تمامی دستورالعمل هایی که بین user-agent اول و user-agent بعدی قرار می گیرند به عنوان دستورالعمل هایی برای user-agent اول شناخته می شوند. هر موتور جستجو باید خود را با استفاده از یک user-agent شناسایی کند. این دو خط اما اجازه بررسی سایت ما را به صورت استثنا به ربات Googlebot می‌دهد.

مدیریت بهینه بودجه خزش سایت

مجله خبری زیرو سئو در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وب‌مسترها قرار داده است.برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید. موتورهای جستجو در مورد محتوای تکراری حساس هستند ، با این حال، برای خزیدن صفحات محتوای تکراری و نمایش آنها در SERP ها، نیازی به ربات ندارید. با برخی از خدمات میزبانی وب سایت مانند وردپرس یا Wix، تنظیمات خزنده اغلب برای شما انجام می شود.

شروع ماجراجویی در وب

در این مثال به تمامی موتورهای جستجو گفته شده است که به مسیر /wp-admin/ دسترسی نداشته باشند. این کار با وجود این که برای کاربران یک قابلیت فوق العاده است ولی در اکثر مواقع می تواند برای موتورهای جستجو گیج کننده باشد چرا که باعث به وجود آمدن محتوای تکراری می شود. به همین علت است که فایل robots.txt دارای نقش بسیار مهمی در سئو سایت می باشد. در این قسمت شما می‌توانید به صورت زنده تغییرات مورد نظرتان را در محتویات فایل robots.txt انجام دهید و سپس از طریق بخش پایینی بررسی کنید که آیا تغییرات انجام شده دقیقا همان چیزی هستند که به دنبال آن هستید یا خیر. اگر وبسایت خود را به ابزار گوگل سرچ کنسول متصل کرده باشید، وقتی که ابزار تست را باز کنید از شما درخواست می‌کند که Property مورد نظرتان را انتخاب کنید.

http://atours.ir

این فایل حاوی لیست صفحات و محتواهایی است که موتورهای جستجو نیازی نیست آن‌ها را بررسی کرده و دسته بندی کنند. موتور جستجوی گوگل چندین نوع روبات مخصوص به خود دارد که معروف‌ترین آن‌ها بانام Googlebot شناخته می‌شود و وظیفه بررسی و ایندکس صفحات وب را بر عهده دارد. این ربات نسبت به سایر ربات‌های جستجوگر، دستورات بیشتری را متوجه می‌شود. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می‌کند. گوگل دیگر کودکی نیست که فقط به محتوای html سایت شما دقت کند و آن را در حالی که شما از دیگر تکنولوژی هایی مثل جاوا اسکریپت و … استفاده می کنید نادیده بگیرد و تمامی محتواهای تمام صفحات شما را بیرون بکشد. اگر به آن بگویید صفحاتی مثل بک اند وب سایتتان را ایندکس نکند، او به شما احترام می گذارد و این کار را انجام نمی دهد.

• همان‌طور که در بالا گفته شد می‌شود صفحه نتایج جست‌وجو داخلی سایت را از ایندکس شدن و نمایش در صفحه نتایج جست‌وجو موتورهای جست‌وجو مانند گوگل را به وسیله فایل Robots.txt مسدود کرد.
• از طرفی دیگر نیز محدود ساختن تعداد زیادی صفحه در سایت از طریق فایل Robots.txt بسیار ساده است و با افزودن یک آدرس به فایل انجام می‌شود اما تگ نوایندکس باید به صورت دستی به هر صفحه اضافه شود.
• موتور جستجو قبل از آنکه وارد سایتی شود، ابتدا فایل robots.txt را از سرور درخواست می کند تا از تمام محدودیت های پیش روی خود در آن سایت آگاه شود.
• جالب اینجاست که بدونین فایل Robots.txt یه فایل متنی ساده هست که در مسیر اصلی فضای سایت شما یا Root Directory قرار می گیره.