گفته می شود که خزنده های هوش مصنوعی منابع سایت و تجزیه و تحلیل های کم رنگ را تخلیه می کنند
اپراتورهای وب سایت در سراسر وب گزارش افزایش فعالیت از خزنده های وب هوش مصنوعی را دارند. این افزایش نگرانی در مورد عملکرد سایت ، تجزیه و تحلیل و منابع سرور ایجاد می کند.
این رباتها پهنای باند قابل توجهی را برای جمع آوری داده ها برای مدل های بزرگ زبان مصرف می کنند ، که می تواند معیارهای عملکرد مرتبط با رتبه بندی جستجو را تحت تأثیر قرار دهد.
در اینجا چیزی است که شما باید بدانید.
چگونه خزنده های هوش مصنوعی ممکن است بر عملکرد سایت تأثیر بگذارند
متخصصان سئو به طور مرتب برای خزنده های موتور جستجوی سنتی بهینه می شوند ، اما حضور روزافزون خزنده های هوش مصنوعی از شرکت هایی مانند Openai ، Anthropic و Amazon ملاحظات فنی جدیدی را ارائه می دهد.
چندین اپراتور سایت مشکلات عملکرد و افزایش بارهای سرور را که مستقیماً به فعالیت خزنده هوش مصنوعی نسبت داده شده گزارش کرده اند.
سرویس میزبان GIT در صفحه وضعیت خود گزارش داد: “SourceHut به دلیل خزنده های تهاجمی LLM با اختلالات روبرو است.”
در پاسخ ، SourceHut “چندین جانبه ارائه دهنده ابر از جمله GCP را مسدود کرده است [Google Cloud] وت [Microsoft] لاجورد ، برای حجم زیاد ترافیک ربات که از شبکه های آنها ناشی می شود. “
داده های سرویس میزبانی ابر Vercel مقیاس این ترافیک را نشان می دهد: GPTBOT Openai در یک ماه 569 میلیون درخواست درخواست کرد ، در حالی که کلود Anthropic 370 میلیون نفر را به خود اختصاص داد.
این خزنده های هوش مصنوعی حدود 20 درصد از حجم خزنده جستجوی Google را در همین مدت نشان می دهند.
تأثیر بالقوه بر داده های تحلیلی
ترافیک قابل توجه ربات می تواند بر داده های تحلیلی تأثیر بگذارد.
به گفته DoubleVerify ، یک شرکت AD Metrics ، “ترافیک عمومی نامعتبر – با نام مستعار ، ربات هایی که نباید به عنوان نمای تبلیغات شمرده شوند – در نیمه دوم سال 2024 به دلیل خزنده های هوش مصنوعی 86 درصد افزایش یافت.”
این شرکت خاطرنشان کرد: “رکورد 16 درصد از GIVT از برداشت های شناخته شده در سال 2024 توسط مواردی که با اسکراپرهای AI همراه هستند ، مانند GPTBOT ، CLAUDEBOT و APPLEBOT ایجاد شده است.”
پروژه Read The Docs نشان داد که مسدود کردن خزنده های AI ، 75 درصد از 800 گیگابایت به 200 گیگابایت روزانه ترافیک خود را کاهش می دهد و تقریباً 1500 دلار در ماه در هزینه های پهنای باند صرفه جویی می کند.
شناسایی الگوهای خزنده هوش مصنوعی
درک رفتار خزنده هوش مصنوعی می تواند به تجزیه و تحلیل ترافیک کمک کند.
آنچه خزنده های هوش مصنوعی را از ربات های سنتی متفاوت می کند ، فرکانس و عمق دسترسی آنها است. در حالی که خزنده های موتور جستجو به طور معمول از الگوهای قابل پیش بینی پیروی می کنند ، خزنده های هوش مصنوعی رفتارهای تهاجمی تری دارند.
دنیس شوبرت ، که زیرساخت هایی را برای شبکه اجتماعی دیاسپورا حفظ می کند ، اظهار داشت که خزنده های هوش مصنوعی “فقط یک بار یک صفحه را خز نمی کنند و بعد حرکت می کنند. اوه ، نه ، آنها هر 6 ساعت یکبار برمی گردند زیرا LOL چرا نه.”
این خزیدن مکرر باعث افزایش مصرف منابع می شود ، زیرا به همان صفحات به طور مکرر و بدون دلیل منطقی قابل دسترسی هستند.
فراتر از فرکانس ، خزنده های هوش مصنوعی کامل تر هستند و محتوای بیشتری را نسبت به بازدید کنندگان معمولی بررسی می کنند.
درو Devault ، بنیانگذار SourceHut ، خاطرنشان کرد: خزنده ها به “هر صفحه از هر ورود به سیستم ، و هر متعهد در مخزن شما” دسترسی دارند ، که می تواند به ویژه برای سایت های سنگین محتوا بسیار زیاد باشد.
در حالی که حجم زیاد ترافیک نگران کننده است ، شناسایی و مدیریت این خزنده ها چالش های دیگری را ارائه می دهد.
با تکامل فناوری خزنده ، روشهای مسدود کردن سنتی به طور فزاینده ای بی اثر هستند.
توسعه دهنده نرم افزار XE IASO خاطرنشان کرد: “این فاجعه بار است که ربات های خزنده AI را مسدود کنید زیرا دروغ می گویند ، عامل کاربر خود را تغییر دهید ، از آدرس های IP مسکونی به عنوان پراکسی و موارد دیگر استفاده کنید.”
تعادل دید با مدیریت منابع
صاحبان وب سایت و متخصصان سئو با توجه به عملی روبرو هستند: مدیریت خزنده های فشرده منابع ضمن حفظ دید برای موتورهای جستجوی قانونی.
برای تعیین اینکه آیا خزنده های هوش مصنوعی به طور قابل توجهی بر سایت شما تأثیر می گذارند:
- گزارش های سرور را برای الگوهای ترافیکی غیرمعمول ، به ویژه از محدوده IP ارائه دهنده ابر ، مرور کنید
- به دنبال سنبله در استفاده از پهنای باند باشید که با فعالیت کاربر مطابقت ندارد
- ترافیک زیاد به صفحات پرقدرت منابع مانند بایگانی یا نقاط پایانی API را بررسی کنید
- نظارت بر الگوهای غیرمعمول در معیارهای اصلی وب ویتامان
گزینه های مختلفی برای کسانی که تحت تأثیر ترافیک بیش از حد خزنده هوش مصنوعی قرار دارند ، در دسترس است.
Google راه حلی به نام Google-Expended را در پرونده Robots.txt معرفی کرد. این امر به وب سایت ها اجازه می دهد تا از محتوای خود برای آموزش خدمات جمینی و vertex AI Google استفاده کنند ، در حالی که هنوز هم به آن سایت ها اجازه می دهند در نتایج جستجو ظاهر شوند.
Cloudflare به تازگی “AI Labyrinth” را اعلام کرد ، توضیح داد ، “وقتی خزیدن غیرمجاز را تشخیص می دهیم ، به جای مسدود کردن درخواست ، ما به یک سری از صفحات تولید شده AI پیوند خواهیم داد که به اندازه کافی قانع کننده هستند تا یک خزنده را برای عبور از آنها جلب کنیم.”
نگاه کردن
با ادغام هوش مصنوعی در جستجوی و کشف ، متخصصان سئو باید خزنده ها را با دقت مدیریت کنند.
در اینجا برخی از مراحل بعدی عملی:
- گزارش های سرور حسابرسی برای ارزیابی تأثیر خزنده هوش مصنوعی در سایت های خاص شما
- برای حفظ دیدگاه جستجو ضمن محدود کردن دسترسی به آموزش AI ، Google Extended in Robots.txt را در نظر بگیرید
- برای گزارش دقیق تر ، فیلترهای تحلیلی را برای جدا کردن ترافیک ربات تنظیم کنید
- برای سایت های به شدت تحت تأثیر ، گزینه های کاهش پیشرفته تر را بررسی کنید
بیشتر وب سایت ها با پرونده های استاندارد Robots.txt و نظارت بر کار خوب عمل می کنند. با این حال ، سایت های پر ترافیک ممکن است از راه حل های پیشرفته تر بهره مند شوند.
تصویر برجسته: LightsPring/Shutterstock
