فایل Robots txt چیست؟ اهمیت و آموزش ساخت فایل ربات سایت-سئو خاکستری سئو خاکستری | xeroseo
و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید. پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.
۲. مشخص کردن صفحات و بخش‌های غیرمجاز با Disallow
فایل Robots.txt یک فایل متنی و ساده است که با ساخت آن می‌توانید از ایندکس شدن برخی صفحات در وب سایت خود جلوگیری نمایید. ساخت فایل ربات ساز تاثیرات مثبتی بر سئو وب سایت دارد و از ایندکس شدن و قرار گرفتن صفحات غیرضروری سایت در نتایج جستجو کاربران جلوگیری خواهد کرد. استفاده از فایل Robots.txt تاثیر بسزایی بر عملکرد بهینه سایت و سئو آن دارد و به همین دلیل است که تمامی وب سایتها باید دارای فایل ربات ساز باشند.
- موتور جستجوی گوگل چندین نوع روبات مختص به خود را دارد که معروف‌ترین آن‌ها بانام Googlebot شناخته می‌شود و وظیفه بررسی و ایندکس صفحات وب را عهده‌دار است.
- در ادامه ی مقاله نحوه ساخت فایل ربات را با دستورات آن آورده ایم.
- اما فراموش نکنید که ربات هایی هم هستند که اصلا توجهی به این محدودیت ها ندارند و به همه بخش ها مراجعه می کنند.
- به همین علت نیز باید قوانینی را تنظیم کنید تا موتورهای جستجو به صفحات تولید شده توسط این فیلتر دسترسی نداشته باشند.
مثلا در مثال بالا ربات‌های خزنده از دسترسی به تمام فایل‌های پی دی اف و اکسل منع شده‌اند. مثلا در مثال بالا ربات‌های خزنده از دسترسی به تمام آدرس‌هایی که به autos. در مثال زیر تمامی ربات‌ها از دسترسی به دایرکتوری media منع شده‌اند اما در عین حال اجازه دسترسی به یک فایل پی دی اف با عنوان terms-and-conditions.pdf موجود در دایرکتوری media داده شده است. برای صدور دسترسی کامل به کل سایت برای ربات‌های خزنده دستور Disallow به شکل زیر خواهد بود. تعدادی کمی از سایتها مانند google از چندین user-agent پشتیبانی می‌کند که با استفاده از رشته‌های user-agent خاص به اپراتور اجازه قطع دسترسی از زیرمجموعهٔ سرویس‌های آن‌ها را می‌دهد. در فایل روبوتس می تواند قسمت هایی از وب سایت خود را از دید گوگل یا سایر وب سایتها مخفی کنید.
چگونه دستورات ‘Disallow’ در فایل robots.txt کار می‌کنند؟
مجله خبری زیرو سئو جستجو معمولاً اطلاعات قرار داده شده در Robots.txt را برای چند روز در حافظه خود نگه می‌دارند. در صورتی که این فایل را بروزرسانی کرده‌اید بهتر است آدرس آن را برای بررسی در گوگل سرچ کنسول ارسال کنید تا سریع‌تر بروز رسانی شود. […] کاملاً واضح است که هر موتور جستجوی معقول و منطقی از داده های کلیک بر روی نتایج خود بهره می جوید تا از بازخورد آن برای بهبود رتبه بندی و کیفیت نتایج جستجو استفاده کند. نتایج کم کلیک باید در نتایج پایین تر قرار بگیرند زیرا کمتر با عبارات جستجو شده ارتباط دارند، و بدیهی است که نتایجی که مرتباً کلیک می شوند به سمت نتایج بالا صفحه می روند. همان‌طور که در به‌طور کامل توضیح دادیم برای مدیریت ربات‌های موتورهای جستجو از دو دستور اصلی که شامل User-agent و Disallow است استفاده می‌شود.
