WordPress Robots.txt: چه چیزی را باید درج کنید؟
پرونده فروتنانه Robots.txt غالباً در پس زمینه یک سایت وردپرس بی سر و صدا قرار دارد ، اما پیش فرض تا حدودی اساسی خارج از جعبه است و البته ، به هیچ دستورالعمل سفارشی که ممکن است بخواهید اتخاذ کنید کمک نمی کند.
دیگر نیازی به مقدمه نیست – بیایید درست به آنچه می توانید برای بهبود آن وارد کنید ، شیرجه بزنیم.
(یک یادداشت کوچک برای افزودن: این پست فقط برای نصب وردپرس در فهرست اصلی یک دامنه یا زیر دامنه ، به عنوان مثال ، domain.com یا مثال.Domain.com مفید است.)
پرونده WordPress Robots.txt دقیقاً کجاست؟
به طور پیش فرض ، وردپرس یک پرونده مجازی Robots.txt ایجاد می کند. به عنوان مثال می توانید آن را با مراجعه به /robots.txt از نصب خود مشاهده کنید:
https://yoursite.com/robots.txt
این پرونده پیش فرض فقط در حافظه وجود دارد و توسط یک پرونده در سرور شما نشان داده نمی شود.
اگر می خواهید از یک فایل Robots.txt سفارشی استفاده کنید ، تمام کاری که باید انجام دهید این است که یکی را در پوشه ریشه نصب بارگذاری کنید.
شما می توانید این کار را با استفاده از یک برنامه FTP یا افزونه مانند SEO Yoast (SEO (SEO) انجام دهید (SEO → Tools → ویرایشگر پرونده) ، این شامل یک ویرایشگر Robots.txt است که می توانید در منطقه Admin WordPress به آن دسترسی پیدا کنید.
Robots.txt پیش فرض وردپرس (و چرا کافی نیست)
اگر به صورت دستی یک پرونده robots.txt ایجاد نکنید ، خروجی پیش فرض وردپرس به این شکل است:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
در حالی که این بی خطر است ، بهینه نیست. بیایید بیشتر برویم.
همیشه نقشه سایت XML خود را وارد کنید
اطمینان حاصل کنید که تمام نقشه های XML به صراحت ذکر شده است ، زیرا این امر به موتورهای جستجو کمک می کند تا همه URL های مربوطه را کشف کنند.
Sitemap: https://example.com/sitemap_index.xml Sitemap: https://example.com/sitemap2.xml
بعضی چیزها برای مسدود کردن
در حال حاضر پیشنهادهای تاریخ برای مجازات برخی از دایرکتوری های اصلی وردپرس مانند/WP-INLUCES/،/WP-CONTENT/PLUGINS/، یا یکنواخت/WP-Content/Uploads/. نه!
در اینجا به همین دلیل نباید آنها را مسدود کنید:
- Google به اندازه کافی هوشمند است که پرونده های بی ربط را نادیده می گیرد. مسدود کردن CSS و JavaScript می تواند به قابلیت رندر آسیب برساند و باعث ایجاد مسائل مربوط به نمایه سازی شود.
- شما ممکن است ناخواسته تصاویر/فیلم های ارزشمند/سایر رسانه ها را مسدود کنید ، به خصوص آنهایی که از/content/uploads/WP بارگیری شده اند/، که حاوی تمام رسانه های بارگذاری شده است که قطعاً می خواهید خزیده شوید.
در عوض ، اجازه دهید خزنده ها CSS ، JavaScript و تصاویر مورد نیاز خود را برای ارائه مناسب بدست آورند.
مدیریت سایت های مرحله بندی
توصیه می شود اطمینان حاصل شود که سایت های مرحله بندی هم برای اهداف سئو و هم برای امنیت عمومی خزیده نمی شوند.
من همیشه توصیه می کنم که کل سایت را مجازات کنم.
شما هنوز هم باید از برچسب متا Noindex استفاده کنید ، اما برای اطمینان از پوشش یک لایه دیگر ، هنوز هم توصیه می شود که هر دو را انجام دهید.
اگر به سمت تنظیمات> خواندن، می توانید گزینه “موتورهای جستجو را از فهرست بندی این سایت” دلسرد کنید ، که موارد زیر را در پرونده robots.txt انجام می دهد (یا می توانید این را در خودتان اضافه کنید).
User-agent: * Disallow: /
اگر Google ممکن است در صورت کشف پیوندها در جای دیگر (معمولاً ناشی از تماس با تولید از تولید در هنگام مهاجرت کامل نباشد) صفحات را نشان دهد.
نکته مهم: هنگامی که به تولید می روید ، اطمینان حاصل کنید که دوباره این تنظیمات را دو بار بررسی کنید تا اطمینان حاصل کنید که هرگونه عدم پذیرش یا NOINDEXING را برمی گردانید.
برخی از مسیرهای وردپرس هسته غیر ضروری را تمیز کنید
همه چیز نباید مسدود شود ، اما بسیاری از مسیرهای پیش فرض هیچ مقدار سئو مانند موارد زیر اضافه نمی کنند:
Disallow: /trackback/ Disallow: /comments/feed/ Disallow: */feed/ Disallow: */embed/ Disallow: /cgi-bin/ Disallow: /wp-login.php Disallow: /wp-json/
پارامترهای خاص پرس و جو را مجازات نکنید
گاهی اوقات ، شما می خواهید موتورهای جستجو را از خزیدن URL ها با پارامترهای پرس و جو با ارزش کم ، مانند پارامترهای ردیابی ، پاسخ های اظهار نظر یا نسخه های چاپی متوقف کنید.
در اینجا یک مثال آورده شده است:
User-agent: * Disallow: /*?replytocom= Disallow: /*?print=
می توانید از ابزار پارامترهای URL Console Search Console برای نظارت بر الگوهای نمایه سازی پارامتر محور استفاده کنید و تصمیم بگیرید که آیا عدم وجود موارد اضافی شایسته اضافه کردن است.
عدم پذیرش طبقه بندی های کم ارزش و SERP
اگر سایت وردپرس شما شامل بایگانی برچسب یا صفحات نتایج جستجوی داخلی است که هیچ ارزش افزوده ای ارائه نمی دهند ، می توانید آنها را نیز مسدود کنید:
User-agent: * Disallow: /tag/ Disallow: /page/ Disallow: /?s=
مثل همیشه ، این را در برابر استراتژی محتوای خاص خود وزن کنید.
اگر از صفحات TAG TAG به عنوان بخشی از محتوا که می خواهید فهرست بندی و خزیده استفاده می کنید ، این موضوع را نادیده بگیرید ، اما به طور کلی ، آنها هیچ فایده ای اضافه نمی کنند.
همچنین ، اطمینان حاصل کنید که ساختار پیوند داخلی شما از تصمیم شما پشتیبانی می کند و هرگونه پیوند داخلی را به مناطقی که قصد نمایه سازی یا خزیدن را ندارید ، به حداقل می رساند.
نظارت بر آمار خزنده
هنگامی که Robots.txt شما در جای خود قرار گرفت ، آمار خزیدن را از طریق کنسول جستجوی Google کنترل کنید:
- به آمار خزنده در زیر تنظیمات نگاه کنید تا ببینید که آیا رباتها منابع را هدر می دهند یا خیر.
- برای تأیید اینکه یک URL مسدود شده فهرست بندی شده است یا خیر ، از ابزار بازرسی URL استفاده کنید.
- نقشه سایت ها را بررسی کنید و اطمینان حاصل کنید که آنها فقط صفحات مرجع شما را در واقع می خواهید خزیده و ایندکس کنید.
علاوه بر این ، برخی از ابزارهای مدیریت سرور ، مانند Plesk ، CPanel و CloudFlare ، می توانند آمار خزنده بسیار مفصلی را فراتر از Google ارائه دهند.
در آخر ، از پیکربندی Screaming Frog برای شبیه سازی تغییرات و تجدید نظر در ویژگی های بهینه سازی خزنده Yoast SEO استفاده کنید ، که برخی از آنها موارد فوق را حل می کند.
افکار نهایی
در حالی که وردپرس یک CMS عالی است ، اما با ایده آل ترین روبات ها تنظیم نشده است.
فقط چند خط کد و کمتر از 30 دقیقه از وقت شما می تواند هزاران درخواست خزیدن غیر ضروری را به سایت شما نجات دهد که اصلاً شایسته شناسایی آنها نیستند ، و همچنین در آینده یک مسئله مقیاس بندی بالقوه را تأمین می کنند.
منابع بیشتر:
تصویر برجسته: Sklyareek/Shutterstock
