زیرو سئو

اخبار و آموزش روز دنیای سئو

خزنده‌های هوش مصنوعی 28 درصد از ترافیک Googlebot را تشکیل می‌دهند، یافته‌های مطالعه

توسط ·


گزارشی که توسط Vercel منتشر شده است، تأثیر رو به رشد ربات های هوش مصنوعی در خزیدن وب را برجسته می کند.

GPTBot OpenAI و Claude Anthropic تقریباً 1 میلیارد درخواست ماهانه در سراسر شبکه Vercel ایجاد می کنند.

داده ها نشان می دهد که GPTBot در ماه گذشته 569 میلیون درخواست داشته است، در حالی که کلود 370 میلیون درخواست داشته است.

علاوه بر این، PerplexityBot 24.4 میلیون واکشی و AppleBot 314 میلیون درخواست اضافه کرد.

این خزنده‌های هوش مصنوعی با هم تقریباً نشان‌دهنده هستند 28% از حجم کل Googlebot که 4.5 میلیارد واکشی است.

در اینجا به معنای این موضوع برای SEO است.

یافته های کلیدی در مورد خزنده های هوش مصنوعی

تجزیه و تحلیل الگوهای ترافیک در شبکه Vercel و معماری های مختلف وب را بررسی کرد. برخی از ویژگی های کلیدی خزنده های هوش مصنوعی را پیدا کرد:

  • خزنده های اصلی هوش مصنوعی جاوا اسکریپت را رندر نمی کنند، اگرچه فایل های جاوا اسکریپت را می کشند.
  • خزنده های هوش مصنوعی اغلب ناکارآمد هستند و ChatGPT و کلود هزینه می کنند 34% از درخواست های آنها در 404 صفحه.
  • نوع محتوایی که این خزنده ها روی آن تمرکز می کنند متفاوت است. ChatGPT HTML را در اولویت قرار می دهد (57.7٪، در حالی که کلود بیشتر بر روی تصاویر تمرکز می کند (35.17٪).

توزیع جغرافیایی

برخلاف موتورهای جستجوی سنتی که از چندین منطقه کار می کنند، خزنده های هوش مصنوعی در حال حاضر حضور متمرکز ایالات متحده را حفظ می کنند:

  • ChatGPT از Des Moines (آیووا) و Phoenix (آریزونا) کار می کند.
  • کلود از کلمبوس (اوهایو) کار می کند

همبستگی سالنامه وب

این یافته‌ها با داده‌های به اشتراک‌گذاشته‌شده در فصل SEO Web Almanac همخوانی دارند، که همچنین به حضور رو به رشد خزنده‌های هوش مصنوعی اشاره می‌کند.

بر اساس این گزارش، وب‌سایت‌ها اکنون از فایل‌های robots.txt برای تنظیم قوانینی برای ربات‌های هوش مصنوعی استفاده می‌کنند و به آنها می‌گویند که چه چیزی می‌توانند یا نمی‌توانند بخزند.

GPTBot مهمترین ربات است که در آن ظاهر می شود 2.7٪ از سایت های موبایل مورد مطالعه ربات Common Crawl که اغلب برای جمع‌آوری داده‌های آموزشی برای مدل‌های زبان استفاده می‌شود، اغلب مورد توجه قرار می‌گیرد.

هر دو گزارش تاکید می کنند که صاحبان وب سایت باید با نحوه رفتار خزنده های هوش مصنوعی سازگار شوند.

3 راه برای بهینه سازی برای خزنده های هوش مصنوعی

بر اساس داده‌های اخیر Vercel و Web Almanac، در اینجا سه ​​راه برای بهینه‌سازی برای خزنده‌های هوش مصنوعی وجود دارد.

1. رندر سمت سرور

خزنده های هوش مصنوعی جاوا اسکریپت را اجرا نمی کنند. این بدان معنی است که هر محتوایی که به رندر سمت مشتری متکی باشد ممکن است نامرئی باشد.

اقدامات توصیه شده:

  • اجرای رندر سمت سرور برای محتوای مهم
  • اطمینان حاصل کنید که محتوای اصلی، متا اطلاعات و ساختارهای ناوبری در HTML اولیه وجود دارد
  • در صورت امکان از تولید سایت ایستا یا بازسازی استاتیک افزایشی استفاده کنید

2. ساختار محتوا و تحویل

داده‌های Vercel ترجیحات نوع محتوای متمایز را در بین خزنده‌های هوش مصنوعی نشان می‌دهد:

ChatGPT:

  • محتوای HTML را در اولویت قرار می دهد (57.70%)
  • 11.50 درصد از واکشی ها را صرف فایل های جاوا اسکریپت می کند

کلود:

  • به شدت بر روی تصاویر تمرکز می کند (35.17%)
  • 23.84 درصد واکشی ها را به فایل های جاوا اسکریپت اختصاص می دهد

توصیه های بهینه سازی:

  • محتوای HTML را به طور واضح و معنایی ساختار دهید
  • تحویل تصویر و ابرداده را بهینه کنید
  • شامل متن جایگزین توصیفی برای تصاویر
  • اجرای سلسله مراتب هدر مناسب

3. ملاحظات فنی

نرخ بالای 404 از خزنده‌های هوش مصنوعی به این معنی است که باید این ملاحظات فنی را در ذهن خود نگه دارید:

  • نقشه های سایت را به روز نگه دارید
  • زنجیره های تغییر مسیر مناسب را پیاده سازی کنید
  • از الگوهای URL ثابت استفاده کنید
  • ممیزی منظم خطاهای 404

نگاه کردن به جلو

برای بازاریابان جستجو، پیام واضح است: چت ربات‌های هوش مصنوعی نیروی جدیدی در خزیدن وب هستند و سایت‌ها باید SEO خود را بر این اساس تطبیق دهند.

اگرچه ربات‌های هوش مصنوعی ممکن است در حال حاضر به اطلاعات ذخیره‌شده یا تاریخ‌دار متکی باشند، ظرفیت آن‌ها برای تجزیه محتوای تازه از سراسر وب افزایش می‌یابد.

می‌توانید با رندر سمت سرور، ساختارهای URL تمیز و نقشه‌های سایت به‌روز شده، اطمینان حاصل کنید که محتوایتان خزیده شده و فهرست‌بندی می‌شود.

تصویر ویژه: tete_escape/Shutterstock



منبع

برچسب‌ها:

مطالب مرتبط