گوگل می گوید llms.txt قابل مقایسه با برچسب کلمات کلیدی متا

جان مولر گوگل به سؤالی در مورد llms.txt ، یک استاندارد پیشنهادی برای نشان دادن محتوای وب سایت به عوامل هوش مصنوعی و خزنده ها ، پایین آوردن سودمندی آن و مقایسه آن با برچسب کلمات کلیدی بی فایده متا پاسخ داد و تجربه دیگران را که از آن استفاده کرده اند ، تأیید کرد.

llms.txt

llms.txt به عنوان یک روبات برای مدل های بزرگ زبان مقایسه شده است اما این 100 ٪ نادرست است. هدف اصلی یک Robots.txt کنترل نحوه خزیدن ربات ها در یک وب سایت است. پیشنهاد llms.txt در مورد کنترل رباتها نیست. این امر اضافی خواهد بود زیرا استانداردی برای آن در حال حاضر با Robots.txt وجود دارد.

پیشنهاد llms.txt به طور کلی در مورد نشان دادن محتوا به LLM ها با یک فایل متنی است که از فرمت Markdown استفاده می کند تا بتوانند فقط محتوای اصلی یک صفحه وب ، کاملاً عاری از تبلیغات و ناوبری سایت را مصرف کنند. Markdown Language یک قالب قابل خواندن انسانی و ماشین است که عناوین را با علامت پوند (#) نشان می دهد و با علامت منهای (-) لیست می کند. llms.txt چند کار دیگر مشابه آن عملکرد را انجام می دهد و این همه چیز در مورد آن است.

llms.txt چیست:

• llms.txt راهی برای کنترل رباتهای AI نیست.
• llms.txt راهی برای نشان دادن محتوای اصلی به رباتهای AI است.
• llms.txt فقط یک پیشنهاد است و یک استاندارد گسترده و پذیرفته شده نیست.

این قسمت آخر مهم است زیرا مربوط به آنچه جان مولر Google گفت:

llms.txt با برچسب متا کلمات کلیدی قابل مقایسه است

شخصی بحثی را در مورد Reddit در مورد LLMS.TXT آغاز کرد تا از او بپرسد که آیا شخص دیگری تجربه خود را به اشتراک گذاشته است که ربات های AI در حال بررسی پرونده های llms.txt خود نیستند.

آنها نوشتند:

وی گفت: “من در اوایل این ماه به ریشه وبلاگ خود یک پرونده LLM.TXT ارسال کرده ام ، اما هنوز نمی توانم تاثیری در سیاهههای خزنده خود ببینم. فقط کنجکاو هستم که می دانم آیا کسی سیستم ردیابی را در محل خود داشته است ، E یا فقط اگر شما هر کاری را پس از اجرای آن انتخاب کرده اید.

اگر هنوز آن را اجرا نکرده اید ، من کنجکاو هستم که افکار شما را در مورد آن بشنوم. “

یک نفر در این بحث اظهار داشت که آنها بیش از 20،000 دامنه میزبان هستند و هیچ یک از عوامل AI یا ربات ها در حال بارگیری پرونده های LLMS.TXT نیستند ، فقط ربات های طاقچه مانند یکی از BuiltWith ، گرفتن این پرونده ها است.

مفسران نوشت:

“در حال حاضر میزبان حوزه های 20K است. می تواند تأیید کند که هیچ ربات ها واقعاً جدا از برخی از نمایندگان کاربر طاقچه نیستند …”

جان مولر پاسخ داد:

“AFAIK هیچکدام از خدمات هوش مصنوعی گفته اند که آنها از LLMS.TXT استفاده می کنند (و می توانید بگویید که وقتی به گزارش های سرور خود نگاه می کنید که آنها حتی آن را بررسی نمی کنند). برای من قابل مقایسه با برچسب متا کلمات کلیدی است-این همان چیزی است که یک صاحب سایت ادعا می کند سایت آنها در مورد … (آیا سایت واقعاً مانند آن است؟ خوب ، شما می توانید آن را بررسی کنید.

او درست است ، هیچ یک از خدمات اصلی AI ، Anthropic ، OpenAI و Google ، پشتیبانی از استاندارد پیشنهادی LLMS.TXT را اعلام نکرده اند. بنابراین اگر هیچکدام از آنها در واقع از آن استفاده نمی کنند ، نکته چیست؟

مولر همچنین این نکته را مطرح می کند که یک فایل llms.txt از این کار اضافی است زیرا چرا اگر محتوای اصلی (و داده های ساختاری) قبلاً بارگیری شده است از آن فایل علامت گذاری استفاده کنید؟ رباتی که از llms.txt استفاده می کند ، باید محتوای دیگر را بررسی کند تا مطمئن شود که این اسپم نیست ، پس چرا زحمت می کشید؟

سرانجام ، چه چیزی برای متوقف کردن یک ناشر یا سئو از نشان دادن یک مجموعه از مطالب در LLMS.TXT به AI AI و مجموعه دیگری از مطالب برای کاربران و موتورهای جستجو متوقف می شود؟ تولید اسپم از این طریق بسیار آسان است ، در واقع مخفی کردن برای LLM ها.

از این نظر بسیار شبیه به برچسب کلمات کلیدی متا است که هیچ موتور جستجو از آن استفاده نمی کند ، زیرا اعتماد به سایت بسیار متناسب با آن است که واقعاً مربوط به آن کلمات کلیدی است و موتورهای جستجو امروزه بهتر و پیچیده تر در مورد تجزیه مطالب هستند تا درک کنند که در مورد چیست.

بحث LinkedIn را اینجا بخوانید:

llm.txt – ما کجا هستیم؟

تصویر برجسته توسط Shutterstock/Jemastock