فایل Robots txt چیست؟ اهمیت و آموزش ساخت فایل ربات سایت-سئو خاکستری سئو خاکستری | xeroseo
در واقع اگر example.com یک robots.txt داشته باشد اما a.example.com نداشته باشد قوانینی که بر روی example.com اعمال میشود روی a.example.com اعمال نخواهد شد همچنین هر پروتکل و پورت به robots.txt خودش نیاز دارد....