گری ایلیز Google هشدار می دهد که نمایندگان هوش مصنوعی “ازدحام وب” را ایجاد می کنند

یک مهندس گوگل هشدار داده است که عوامل هوش مصنوعی و ربات های خودکار به زودی با ترافیک اینترنت را سیل می کنند.

گری ایلیز ، که در تیم روابط جستجوی Google کار می کند ، گفت: “همه و مادربزرگ من در یک پادکست اخیر در حال راه اندازی خزنده هستند”.

این هشدار از آخرین جستجوی Google در قسمت Record Podcast است.

نمایندگان هوش مصنوعی وب سایت ها را تحت فشار قرار می دهند

ایلیز در طی مکالمه خود با عضو تیم روابط جستجوی همکار ، مارتین اسپلیت ، هشدار داد که مأمورین هوش مصنوعی و “AI Shenanigans” منابع قابل توجهی برای ترافیک وب جدید خواهند بود.

ایلیس گفت:

“وب در حال ازدحام است … این چیزی نیست که وب نتواند از عهده آن برآید … وب طراحی شده است تا بتواند حتی اگر اتوماتیک باشد ، همه این ترافیک ها را کنترل کند.”

این افزایش در حالی اتفاق می افتد که مشاغل ابزارهای AI را برای ایجاد محتوا ، تحقیق رقیب ، تجزیه و تحلیل بازار و جمع آوری داده ها مستقر می کنند. هر ابزار به عملکرد وب سایت های خزنده نیاز دارد و با رشد سریع پذیرش هوش مصنوعی ، انتظار می رود این ترافیک افزایش یابد.

سیستم خزنده گوگل چگونه کار می کند

پادکست بحث مفصلی در مورد تنظیم خزنده گوگل ارائه می دهد. Google به جای استفاده از خزنده های مختلف برای هر محصول ، یک سیستم یکپارچه را توسعه داده است.

جستجوی Google ، Adsense ، Gmail و سایر محصولات از همان زیرساخت های خزنده استفاده می کنند. هرکدام خود را با یک نام عامل متفاوت کاربر مشخص می کنند ، اما همه به پروتکل های یکسان برای Robots.txt و Health Server پایبند هستند.

ایلیس توضیح داد:

“شما می توانید با آن از طریق اینترنت واکشی کنید اما باید رشته عامل کاربر خود را مشخص کنید.”

این رویکرد یکپارچه تضمین می کند که همه خزنده های گوگل در هنگام مواجهه با وب سایت ها به همان پروتکل ها پایبند هستند و در مقیاس عقب می روند.

گراز منبع واقعی؟ خزنده نیست

ایلیس با یک ادعای بالقوه بحث برانگیز ، خرد سئو متعارف را به چالش کشید: خزیدن منابع قابل توجهی را مصرف نمی کند.

ایلیس اظهار داشت:

“این خزنده نیست که منابع را بالا می برد ، نمایه سازی و به طور بالقوه خدمت می کند یا آنچه را که با داده ها انجام می دهید.”

او حتی شوخی کرد که “در اینترنت فریاد می زند” به خاطر این حرف.

این دیدگاه نشان می دهد که صفحات واکشی از حداقل منابع در مقایسه با پردازش و ذخیره داده ها استفاده می کنند. برای کسانی که نگران بودجه خزیدن هستند ، این می تواند اولویت های بهینه سازی را تغییر دهد.

از هزاران تا تریلیون: رشد وب

Googlers زمینه تاریخی را فراهم کرد. در سال 1994 ، موتور جستجوگر World Work Word Word فقط 110،000 صفحه را فهرست کرد ، در حالی که WebCrawler موفق به ایندکس 2 میلیون شد. امروز ، وب سایت های جداگانه می توانند از میلیون ها صفحه فراتر روند.

این رشد سریع نیاز به تکامل تکنولوژیکی دارد. خزنده ها از پروتکل های اساسی HTTP 1.1 به HTTP/2 مدرن برای اتصالات سریعتر ، با پشتیبانی HTTP/3 در افق پیشرفت کردند.

نبرد کارآیی گوگل

گوگل سال گذشته صرف تلاش برای کاهش ردپای خزنده خود ، با تصدیق بار صاحبان سایت شد. با این حال ، چالش های جدید همچنان بوجود می آیند.

ایلیس این معضل را توضیح داد:

“شما هفت بایت را از هر درخواستی که می کنید ذخیره کرده اید و سپس این محصول جدید هشت را به آن اضافه می کند.”

هر سود بهره وری توسط محصولات جدید AI که به داده های بیشتری نیاز دارند جبران می شود. این چرخه ای است که هیچ نشانه ای از توقف را نشان نمی دهد.

صاحبان وب سایت باید چه کاری انجام دهند

افزایش ترافیک آینده نیاز به اقدام در چندین زمینه دارد:

• زیرساخت: میزبانی فعلی ممکن است از بار مورد انتظار پشتیبانی نکند. قبل از وقوع هجوم ، ظرفیت سرور ، گزینه های CDN و زمان پاسخ را ارزیابی کنید.
• کنترل دسترسی: قوانین Robots.txt را بررسی کنید تا کنترل کنید کدام خزنده های AI می توانند به سایت شما دسترسی پیدا کنند. ربات های غیر ضروری را در حالی که به موارد مشروع اجازه می دهد به درستی کار کنند ، مسدود کنید.
• عملکرد پایگاه داده: ایلیس به طور خاص “تماس های گران قیمت پایگاه داده” را به عنوان مشکل ساز ذکر کرد. نمایش داده ها را بهینه کنید و حافظه پنهان را برای کاهش فشار سرور اجرا کنید.
• نظارت: از طریق تجزیه و تحلیل کامل ورود به سیستم و ردیابی عملکرد ، بین خزنده های مشروع ، عوامل هوش مصنوعی و ربات های مخرب تفاوت قائل شوید.

مسیر به جلو

ایلیس به خزیدن مشترک به عنوان یک مدل بالقوه اشاره کرد ، که یک بار خزنده می شود و داده ها را به صورت عمومی به اشتراک می گذارد و باعث کاهش ترافیک اضافی می شود. راه حل های مشترک مشابه ممکن است با تطبیق وب ظاهر شود.

در حالی که ایلیس نسبت به توانایی وب در مدیریت افزایش ترافیک ابراز اطمینان کرد ، پیام واضح است: عوامل هوش مصنوعی به تعداد گسترده ای می رسند.

وب سایتهایی که اکنون زیرساخت های خود را تقویت می کنند ، بهتر برای آب و هوا طوفان مجهز خواهند شد. کسانی که منتظر هستند ممکن است وقتی تمام نیروی موج به آن برخورد می کند ، غرق شوند.

به قسمت کامل پادکست در زیر گوش دهید:

https://www.youtube.com/watch؟v=igguggonz1e

تصویر برجسته: Collagery/Shutterstock