گوگل می گوید استفاده از عنوان Noindex با llms.txt منطقی است

جان مولر Google در پاسخ به سؤالی در مورد LLMS.TXT مربوط به محتوای تکراری ، اظهار داشت که این معنی ندارد که آن را به عنوان محتوای تکراری تلقی می شود ، اما وی همچنین اظهار داشت که می تواند برای جلوگیری از نمایه سازی اقدامات لازم را انجام دهد.

llms.txt

llms.txt پیشنهادی برای ایجاد یک استاندارد جدید با فرمت محتوای جدید است که مدل های بزرگ زبان می توانند برای بازیابی محتوای اصلی یک صفحه وب بدون نیاز به مقابله با سایر داده های غیر احتمالی ، مانند تبلیغات ، ناوبری و هر چیز دیگری که محتوای اصلی آن نیست ، استفاده کنند. این امکان را برای ناشران وب فراهم می کند تا یک نسخه مهم و با فرمت از مهمترین محتوا را ارائه دهند. پرونده llms.txt در سطح ریشه یک وب سایت قرار دارد (به عنوان مثال. com/llms.txt).

برخلاف برخی ادعاهای مطرح شده در مورد llms.txt ، به هیچ وجه از نظر هدف با روبات ها مشابه نیست. هدف از Robots.txt کنترل رفتار ربات است ، در حالی که هدف LLMS.TXT تهیه محتوا در مدل های بزرگ زبان است.

آیا Google View LLMS.TXT را به عنوان محتوای تکراری مشاهده می کند؟

شخصی در Bluesky پرسید که آیا llms.txt می تواند توسط Google به عنوان محتوای تکراری دیده شود ، که این یک سوال خوب است. ممکن است اتفاق بیفتد که شخصی در خارج از وب سایت به LLMS.TXT پیوند داشته باشد و ممکن است Google به جای یا علاوه بر محتوای HTML ، این محتوا را شروع کند.

این سوالی است که پرسیده شده است:

“آیا Google View Files llms.txt را به عنوان محتوای تکراری مشاهده می کند؟ به نظر می رسد انجام این کار سفت و سخت است ، با توجه به اینکه می دانند که اینگونه نیست ، و واقعاً برای چه چیزی است.

آیا باید یک هدر “Noindex” را برای llms.txt برای Googlebot اضافه کنم؟ “

جان مولر گوگل پاسخ داد:

وی گفت: “این فقط محتوا کپی خواهد بود اگر محتوا همان صفحه HTML باشد ، که معنی ندارد (با فرض اینکه خود پرونده مفید باشد).

گفته می شود ، استفاده از Noindex برای آن می تواند معنی داشته باشد ، زیرا سایت ها ممکن است به آن پیوند دهند و در غیر این صورت می توانند ایندکس شوند ، که برای کاربران عجیب خواهد بود. “

noindex برای llms.txt

استفاده از یک هدر Noindex برای LLMS.TXT ایده خوبی است زیرا مانع از ورود محتوا به شاخص Google می شود. استفاده از یک Robots.txt برای مسدود کردن Google ضروری نیست زیرا این امر فقط باعث می شود Google از خزیدن پرونده جلوگیری کند که مانع از دیدن Noindex می شود.

تصویر برجسته توسط Shutterstock/KrakenImages.com