راهنمای جامع استفاده از فایل Robots txt ویژگی ها و موارد استفاده | xeroseo
حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. اولین بخش، Crawl Rate Limit (حد نرخ خزیدن) است و دومی Crawl Demand. فرض کنید اولین بار برای انجام یک کار اداری وارد سازمان بزرگی میشوید؛ هیچ جایی را هم نمیشناسید. مدیران این سازمان هم چون میدانند مراجعه کنندهها همهجا را نمیشناسند، پس کنار در ورودی یک باجه اطلاعات درست کردهاند و یک یا چند نفر را مسئول راهنمایی و نگهبانی گذاشتهاند.
بنابراین اگر دستورالعمل هایی را برای همه ربات ها در نظر گرفته اید و به دنبال آن دستورالعمل هایی برای یک ربات خاص مد نظرتان است باید بدانید که تنها این دستورالعمل های خاص توسط موتورهای جستجو مورد توجه قرار می گیرند. در این مثال هیچ یک از موتورهای جستجو از جمله گوگل مجله خبری سئو و بینگ به تمامی پوشه های موجود در مسیر /about/ directory به جز مسیر sub-directory /about/company/ دسترسی ندارند. در مثال بالا هیچ یک از موتورهای جستجو اجازه دسترسی به پوشه /media/ را ندارند به جز فایلی که در مسیر /media/terms-and-conditions.pdf قرار گرفته است. ما سعی کردیم در مقاله فایل Robots.txt چیست؟ اطلاعاتی در مورد فایل Robots.txt یا فایل ربات ساز به شما ارائه کنیم و به بررسی دلایل استفاده از فایل Robots.txt بپردازیم و نحوه عملکرد فایل ربات ساز رو مورد بررسی قرار بدیم.
از طرف دیگر از مجله خبری زیرو سئو های X-Robots می توان با استفاده از دستورات .htaccess برای فایل های غیر HTML استفاده کرد. قابل استفاده برای یک خزنده یا گروهی از خزنده که در فایل robots.txt گنجانده شده است. چگونگی تاثیر سرعت سایت بر سئو و رتبه بندی گوگل (راهنمای 2021 در خصوص سرعت… ایندکس کردن محتوای سایتها به طوری که بتوان آنها را دسته بندی کرده و در نتایج جستوجوها نشان داد. این ربات با کلیک بر روی لینک شما در جاهایی که بک لینک گرفته اید باعث میشود بک لینک شما سریع تر توسط گوگل ایندکس شود.
بهترین روش برای پیشگیری از مسدود شدن محتوا
با اجرای دستور Crawl-delay بعد از برطرف کردن مشکل، صفحه شما توسط ربات های موتور جستجوی گوگل کراول و ایندکس خواهد شد. دستور Allow دقیقا برعکس دستور Disallow عمل می کند؛ این دستور به ربات های موتور جستجوی گوگل اجازه ایندکس کردن را می دهد. توجه کنید که اگر سایت شما فایل Robots.txt نداشته باشد هم رباتهای گوگل کار خودشان را میکنند. اگر چنین فایلی وجود نداشته باشد، ربات بدون هیچ محدودیتی به تمام بخشهای در دسترس سر میزند.
Crawl-delay
Robots.txt فایل، یک فایل متنی می باشد که در Root Directory (روت دایرکتوری) یا مسیر اصلی هاست فضای وب سایت تان قرار دارد. با استفاده از این فایل شما در حقیقت به معرفی بخش های قابل دسترس و همچنین مشخص نمودن بخش هایی که نمی خواهید ربات های جستجوگر سطح وب یا همان Web Crawlers به آن ها دسترسی داسته باشند؛ می پردازید. در واقع این خزندگان سطح وب، با بررسی این فایل، اطلاعات سایت شما را به ثبت می رسانند.
- اکثر موتورهای جستجو از قوانین یکسان استفاده میکنند، بنابراین نیازی نیست برای هر موتور جستجو یک دستورالعمل مجزا نوشته شود.
- پیکربندی صحیح فایل robots.txt یکی از اقدامات اساسی در بهینه سازی بودجه خزش و سئو سایت است.
- فقط باید یه فایل متنی جدید روی کامپیوترتون ایجاد کنین و با عنوان robots.txt ذخیره کنین.
- شما می توانید از این فایل برای جلوگیری از عملیات خزیدن موتور های جستجو در برخی از لینک ها و صفحات خاص وب سایت خود استفاده کنید.