چگونه رشد سریع ربات ها می تواند وب باز را تغییر دهد

چگونه رشد سریع ربات ها وب باز را تغییر می دهد؟

بیش از نیمی از ترافیک وب از ربات ها می آید:

• گزارش ربات بد Imperva در سال 2024 نشان می دهد که تقریباً 50٪ از کل ترافیک اینترنت در سال 2024 انسانی نبوده است. روند: رو به کاهش است.
• رادار Cloudflare 70% ترافیک انسان و 30% از ربات ها را نشان می دهد.
• Akami گزارش می دهد که 42 درصد از ترافیک وب از طریق ربات ها است.

تا کنون، ربات ها اطلاعاتی را جمع آوری کرده اند که اپلیکیشن ها را برای انسان بهتر می کند. اما یک گونه جدید در جمعیت رشد می کند: ربات های عامل.

برای دو دهه، ما سایت‌ها را برای GoogleBot بهینه‌سازی کردیم. به زودی، می‌توانیم روی کمک‌کنندگان هوش مصنوعی که به‌عنوان واسطه بین انسان‌ها و وب باز عمل می‌کنند، تمرکز کنیم.

ما قبلاً برای BotNet با طرحواره و فیدهای محصول در Merchant Center Google بهینه سازی کرده ایم. نقشه‌های سایت XML دهه‌ها پیش به جدول تبدیل شده‌اند.

در سطح بعدی، ما می‌توانیم وب‌سایت‌ها یا APIهای مجزا برای ربات‌های عامل با میدان بازی بازاریابی کاملاً جدید داشته باشیم.

وب نمایندگی

از آنجایی که در حال نزدیک شدن به دریافت بیشتر ربات از ترافیک انسانی در وب باز هستیم، لازم است به خاطر داشته باشید که حدود 65 درصد از ترافیک ربات ها مخرب تخمین زده می شود.

ربات‌های خوب شامل خراش‌های موتورهای جستجو، ابزارهای سئو، دفاع امنیتی و البته خزنده‌های هوش مصنوعی هستند. جمعیت هر دو نوع ربات در حال افزایش است، اما فقط موارد خوب واقعا مفید هستند.

در مقایسه با شش ماه گذشته، خزنده‌های هوش مصنوعی 18 درصد رشد کردند در حالی که سرعت موتورهای جستجو 10 درصد کاهش یافت. GoogleBot به طور خاص فعالیت را تا -1.6٪ کاهش داد.

با این حال، خزنده هوش مصنوعی گوگل با افزایش 1.4 درصدی آن را جبران کرد. GPT Bot با 3.8 درصد از کل درخواست‌ها، فعال‌ترین خزنده هوش مصنوعی بود و 12 درصد رشد داشت.

خزنده هوش مصنوعی گوگل 62 درصد رشد کرد و مسئول 3.7 درصد از درخواست های ربات بود. با توجه به نرخ رشد فعلی، خزنده هوش مصنوعی گوگل به زودی فعال ترین خزنده در وب خواهد بود.

امروزه ربات های هوش مصنوعی سه هدف دارند:

1. جمع آوری داده های آموزشی
2. یک فهرست جستجو برای پایه پاسخ های LLM (RAG) بسازید.
3. داده‌های بی‌درنگ را برای درخواست‌هایی که نیاز به تازگی دارند، جمع‌آوری کنید.

اما در حال حاضر، همه توسعه دهندگان بزرگ هوش مصنوعی روی عواملی کار می کنند که وب را مرور می کنند و برای کاربران اقداماتی انجام می دهند:

• کلود اولین بار با ویژگی محصول «استفاده از رایانه» خود بود: «توسعه‌دهندگان می‌توانند کلود را به استفاده از رایانه‌ها به روشی که مردم انجام می‌دهند هدایت کنند – با نگاه کردن به صفحه، حرکت مکان‌نما، کلیک کردن روی دکمه‌ها و تایپ متن».
• جارویس Google، “یک همراه مفید که برای شما در وب گشت و گذار می کند” به طور تصادفی به طور لحظه ای در فروشگاه کروم راه اندازی شد.
• OpenAI روی “اپراتور” کار می کند، همچنین عاملی که برای شما اقدام می کند.

من سه نتیجه ممکن را می بینم:

1. عامل ها با خزیدن و بازدید از وب سایت ها، ترافیک ربات ها را در وب باز به طور قابل توجهی افزایش می دهند.
2. Agent ها از API ها برای دریافت اطلاعات استفاده می کنند.
3. Agent ها بر روی پلتفرم خود کار می کنند، به این معنی که اپراتور به جای جمع آوری داده های خود، فقط از داده های ChatGPT استفاده می کند.

من فکر می‌کنم ترکیبی از هر سه محتمل است و در نتیجه ترافیک ربات رشد قابل توجهی خواهد داشت.

اگر این درست باشد، شرکت‌ها به طور فزاینده‌ای نسخه‌های جداگانه‌ای از سایت خود را برای ربات‌ها می‌سازند که برای سرعت و داده‌های ساختاریافته طراحی شده‌اند. «فقط روی کاربر تمرکز کن» به «فقط تمرکز روی عوامل» تبدیل می‌شود.

به نوعی، ChatGPT Search در حال حاضر عاملی است که وب را برای انسان ها مرور و مدیریت می کند. اما اگر نمایندگان به وعده خود عمل کنند، می توانید انتظارات بسیار بیشتری داشته باشید.

سام آلتمن، مدیر عامل OpenAI در Reddit AMA اخیر خود گفت، “من فکر می کنم چیزی که به نظر می رسد موفقیت بزرگ بعدی باشد، ماموران خواهند بود.”

در حالی که ربات ها وب را تسخیر می کنند، انسان ها چه می کنند؟

پذیرش اینترنتی

بعید است که انسان ها وبگردی را به طور کامل متوقف کنند.

حتی با وجود پاسخ‌های هوش مصنوعی در جستجو و ویژگی‌های جستجو در ربات‌های چت هوش مصنوعی، انسان‌ها همچنان می‌خواهند اظهارات هوش مصنوعی را تأیید کنند، به‌طور تصادفی الهام بگیرند (سرندیپیتی)، یا به دنبال پاسخ از سایر انسان‌ها (Reddit) باشند.

اما اگر ربات‌ها به اندازه کافی خوب شوند، عمل مرور برای جستجو احتمالاً در دستورات منحل می‌شود.

جا برای رشد ترافیک انسانی وجود دارد: 70٪ از جمعیت جهان در سال 2023 به اینترنت دسترسی داشتند. با سرعت فعلی (حدود 7٪ سالانه) تا سال 2030 کل جهان به اینترنت دسترسی خواهد داشت.

با این حال، علیرغم پذیرش رو به رشد اینترنت، ترافیک انسانی در سه سال گذشته ثابت بوده است (به آمار Cloudflare مراجعه کنید). خزنده‌های هوش مصنوعی بسیار سریع‌تر رشد می‌کنند (18%)، و عوامل ممکن است سرعت آن را بیشتر کنند.

درخواست های انسان از ویکی پدیا، بزرگترین سایت وب، از سال 2019 راکد مانده است.

دلیل آن این است که توجه انسان به پلتفرم های اجتماعی، به ویژه برای نسل های جوان تر، تغییر می کند. همانطور که ربات ها وب باز را می گیرند، انسان ها به سمت عقب نشینی های تعامل فرار می کنند.

بازاریابی

در آینده‌ای دور، ربات‌های خوب می‌توانند به شهروندان حقوق برابر کشور وب باز تبدیل شوند، زیرا انسان‌های بیشتری در پلت‌فرم‌های اجتماعی بسته وقت می‌گذرانند و LLM‌های عامل رشد سریع ترافیک ربات‌ها را افزایش می‌دهند. اگر این تئوری اجرا شود، این برای بازاریابی و به طور خاص سئو چه معنایی دارد؟

تصور کنید که یک سفر رزرو کرده اید. به‌جای مرور Google یا Booking، به نماینده خود می‌گویید که در مورد رفتن به کجا و چه زمانی فکر می‌کنید.

بر اساس آنچه در مورد ترجیحات شما می داند، نماینده شما سه گزینه پرواز و هتل را از پلتفرم مورد نظر شما مدیریت می کند.

وقتی پروازی را انتخاب می‌کنید، به تقویم شما اضافه می‌شود و بلیط‌ها در صندوق ورودی شما هستند. شما نیازی به تسویه حساب ندارید. نماینده همه کارها را برای شما انجام می دهد. شما می توانید همین سناریو را برای تجارت الکترونیک یا نرم افزار اعمال کنید.

با توجه به اینکه شرکت هایی مانند گوگل در حال حاضر توانایی ساخت این را دارند، ارزش دارد به این فکر کنیم که چه چیزی ثابت می ماند، چه چیزی تغییر می کند و چه چیزی در این چشم انداز اهمیت بیشتری پیدا می کند.

ثابت

ربات ها به CSS یا تصاویر قهرمان نیاز ندارند. هیچ نقطه ضعفی برای پنهان کردن سایت شما برای خزنده‌های LLM وجود ندارد، بنابراین این احتمال وجود دارد که وب‌سایت‌ها نسخه barebones را به ربات‌ها نشان دهند.

مجموعه مهارت هایی که در آینده ثابت می ماند سئوی فنی است: خزیدن، سرعت (سرور)، پیوند داخلی و داده های ساختاریافته.

تغییر دهید

یک وب باز عاملی قابلیت‌های بسیار بهتری برای هدف‌گیری تبلیغات ارائه می‌دهد، زیرا ربات‌ها صاحبان خود را از درون می‌شناسند.

انسان‌ها تصمیمات خرید را خیلی سریع‌تر می‌گیرند زیرا نمایندگان آنها تمام اطلاعات مورد نیاز را به آنها می‌دهند و ترجیحات آنها را می‌دانند.

هزینه های تبلیغات به طور قابل توجهی کاهش می یابد و حتی بازدهی بالاتری نسبت به امروز ارائه می دهد.

از آنجایی که ربات ها می توانند هر چیزی را در چند ثانیه ترجمه کنند، محلی سازی و فروش بین المللی دیگر مشکلی نیست. انسان‌ها می‌توانند از هر کسی و در هر کجا خرید کنند – فقط با محدودیت‌های حمل و نقل و موجودی. اقتصاد جهانی بازتر می شود.

اگر درست بازی کنیم، نمایندگان می‌توانند حافظان نهایی حریم خصوصی باشند: هیچ‌کس به اندازه آنها اطلاعاتی درباره شما ندارد، اما شما می‌توانید میزان اشتراک‌گذاری آنها را کنترل کنید.

نمایندگان شما را می شناسند اما نیازی به اشتراک گذاری آن اطلاعات با دیگران ندارند. ما ممکن است حتی داده های بیشتری را با آنها به اشتراک بگذاریم، چرخ لنگر مقدار داده ها → درک → نتایج → داده → مقدار → نتایج → و غیره.

از جنبه منفی، ما باید با تعریف مجدد کارهایی که ربات‌ها در قالبی شبیه robots.txt 2.0 مجاز به انجام آن هستند، دفاعی در برابر ربات‌های سرکش ایجاد کنیم. امنیت سایبری حتی مهم‌تر شده است، اما همچنین پیچیده‌تر شده است زیرا ربات‌های بد می‌توانند خیلی بهتر از ربات‌های خوب تقلید کنند.

ما باید اثرات زیست محیطی مصرف انرژی بیشتر توسط ترافیک ربات بیشتر را بفهمیم.

امیدواریم ربات‌ها کارآمدتر باشند و بنابراین ترافیک کل وب کمتری نسبت به انسان‌ها ایجاد کنند. این حداقل تا حدودی انرژی دره ای را که LLM ها قبلاً ایجاد کرده اند جبران می کند.

مهم است

مناسب ترین فرمت اطلاعات خام و ساختار یافته است: فیدهای XML، RSS و API. ما قبلاً فیدهای محصول و نقشه‌های سایت XML را برای Google ارسال کرده‌ایم، اما نمایندگان بیشتر می‌خواهند.

طراحی وب سایت در آینده اهمیت کمتری خواهد داشت و شاید این مشکلی نداشته باشد زیرا اکثر سایت ها به هر حال بسیار شبیه به هم هستند.

طراحی فید اهمیت بیشتری پیدا می‌کند: چه اطلاعاتی باید در فیدها گنجانده شود، چقدر، هر چند وقت یکبار به‌روزرسانی شود و چه درخواست‌هایی برای ارسال مجدد به ربات‌ها.

بازاریابان زمان بسیار بیشتری را صرف مهندسی معکوس خواهند کرد که مکالمات با چت بات ها چگونه است. ربات‌ها احتمالاً جعبه سیاهی مانند الگوریتم گوگل خواهند بود، اما تبلیغات می‌تواند چیزی را که مردم بیشتر می‌پرسند روشن کند.

روابط

در آینده نمایندگی، پس از اینکه مشتریان بر روی برندی که دوست دارند تسویه حساب کنند، سخت است که مشتریان را به سمت تغییر سوق دهیم تا زمانی که تجربه بدی نداشته باشند.

در نتیجه، یک اهرم بازاریابی مهم این است که مشتریان را وادار به امتحان برند شما با کمپین هایی مانند تخفیف ها و پیشنهادات انحصاری می کند.

هنگامی که اطمینان پیدا کردید و نشان دادید که محصول شما بهتر است، تلاش کاربران را متقاعد می کند تا آن را امتحان کنند. بدیهی است که امروز کار می کند.

با فرصت‌های بسیار زیادی برای تبلیغ و سوق دادن کاربران به سمت یک محصول خاص قبل از خرید، تأثیر بسیار بیشتری در خرید داریم.

اما، در آینده، نمایندگان می توانند این انتخاب ها را برای کاربران انجام دهند. بازاریابان زمان بیشتری را برای ایجاد رابطه، ایجاد آگاهی از برند و تأثیرگذاری بر عوامل بازاریابی قدیمی مانند قیمت گذاری، توزیع (حمل و نقل) و تمایز صرف خواهند کرد.

---

گزارش ربات بد 2024

رادار Cloudflare: Traffic Trends

ربات ها 42 درصد از ترافیک کلی وب را تشکیل می دهند. نزدیک به دو سوم افراد مخرب هستند

رادار Cloudflare: Data Explorer

معرفی استفاده از رایانه، غزل جدید کلود 3.5 و هایکو کلود 3.5

وجود افزونه Jarvis AI گوگل در فروشگاه کروم فاش شد

OpenAI به راه اندازی ابزار عامل هوش مصنوعی برای خودکارسازی وظایف برای کاربران نزدیک می شود

تجزیه و تحلیل بازدید از سایت

---

تصویر ویژه: پائولو بوبیتا/ژورنال موتور جستجو