Google اطلاعات آماری را در مورد نمایه سازی و خزیدن بودجه به اشتراک می گذارد

گوگل اخیراً پادکستی منتشر کرده است که در مورد آنچه به عنوان بودجه خزیدن شناخته می شود و چه چیزی گوگل را برای فهرست کردن محتوا تحت تاثیر قرار می دهد، بحث می کند.

گری ایلیس و مارتین اسپلیت هر دو دیدگاه‌هایی را در مورد فهرست‌بندی وب، همانطور که از دیدگاه گوگل درک می‌شود، به اشتراک گذاشتند.

خاستگاه مفهوم بودجه خزیدن

گری ایلیس گفت که مفهوم بودجه خزنده چیزی است که خارج از گوگل توسط جامعه جستجو ایجاد شده است.

او توضیح داد که هیچ چیزی در داخل گوگل وجود ندارد که با ایده بودجه خزیدن مطابقت داشته باشد.

وقتی مردم در مورد بودجه خزیدن صحبت می‌کردند، آنچه در داخل گوگل اتفاق می‌افتاد شامل چندین معیار بود، نه این چیزی که به آن بودجه خزیدن می‌گویند.

بنابراین در داخل گوگل در مورد آنچه که می تواند نشان دهنده بودجه خزیدن باشد صحبت کردند و راهی برای صحبت در مورد آن پیدا کردند.

او گفت:

«… برای طولانی‌ترین زمان می‌گفتیم که مفهوم بودجه خزیدن را نداریم. و درست بود.

ما چیزی نداشتیم که بتواند به خودی خود به معنای خزیدن بودجه باشد – مثلاً برای EAT عددی نداریم.

و سپس، چون مردم در مورد آن صحبت می‌کردند، ما سعی کردیم به چیزی برسیم… حداقل، به نحوی تعریف شده بود.

و سپس با دو یا سه یا چهار تیم کار کردیم – یادم نیست – جایی که سعی کردیم حداقل چند معیار داخلی ارائه کنیم که بتواند با هم به چیزی تبدیل شود که افراد خارجی آن را به عنوان بودجه خزیدن تعریف می کنند.

Crawl Budget در گوگل به چه معناست

به گفته گری، بخشی از محاسبه بودجه خزیدن بر اساس ملاحظات عملی است، مانند چند URL که سرور به Googlebot اجازه می دهد بدون بارگذاری بیش از حد سرور، خزیدن کند.

گری ایلیس و مارتین اسپلیت:

«گری ایلیز: … ما آن را به عنوان تعداد URLهایی که Googlebot می‌تواند و مایل است یا به آن دستور داده می‌شود که بخزد، تعریف کردیم.»

مارتین اسپلیت: برای یک سایت مشخص.

گری ایلیز: برای یک سایت مشخص، بله.

و برای ما، این تقریباً به معنای بودجه خزیدن است، زیرا اگر در مورد آن فکر کنید، نمی‌خواهیم به وب‌سایت‌ها آسیب برسانیم زیرا Googlebot ظرفیت کافی کروم برای از بین بردن سایت‌ها را دارد…»

متعادل کردن ملاحظات مختلف

نکته جالب دیگری که مطرح شد این بود که چگونه در رابطه با خزیدن، ملاحظات مختلفی وجود دارد. محدودیت‌هایی برای ذخیره‌سازی وجود دارد، بنابراین، به گفته گوگل، این به معنای استفاده از منابع Google است.جایی که اهمیت دارد”

مارتین اسپلیت: ظاهراً، بدیهی است که همه می‌خواهند همه چیز در سریع‌ترین زمان ممکن ایندکس شود، چه وب‌سایت جدیدی که به تازگی آنلاین شده است و چه وب‌سایت‌هایی که صفحات زیادی دارند و می‌خواهند مرتباً آن‌ها را تغییر دهند. نگران این است که چیزها به این سرعت خزیده نشوند.

من معمولاً آن را به‌عنوان چالشی توصیف می‌کنم که توازن بین زیاد نشدن وب‌سایت و همچنین خرج کردن منابع ما در جایی که اهمیت دارد، وجود دارد.»

جان مولر اخیرا توییت کرد که گوگل همه چیز را ایندکس نمی کند و اشاره کرد که همه چیز مفید نیست.

مولر توییت:

«… مهم است که به خاطر داشته باشید که Google فقط هر صفحه را در وب فهرست نمی کند، حتی اگر مستقیماً ارسال شده باشد. اگر خطایی وجود نداشته باشد، ممکن است به مرور زمان برای نمایه سازی انتخاب شود – یا ممکن است گوگل فقط روی برخی از صفحات دیگر در سایت شما تمرکز کند.

او پیگیری کرد یک توییت دیگر:

«خب، بسیاری از سئوها و سایت‌ها (شاید نه شما یا شما!) محتوای وحشتناکی تولید می‌کنند که ارزش ایندکس کردن را ندارد. فقط به این دلیل که وجود دارد به این معنی نیست که برای کاربران مفید است.”

• مارتین اسپلیت فرآیند خزیدن را موضوعی می نامدمنابع خود را در جایی که مهم است خرج کنیم“
• جان مولر اشاره کرد که آیا محتوابرای کاربران مفید است“

مفید بودن زاویه جالبی برای قضاوت در مورد محتوا است و به نظر من می تواند برای تشخیص محتوا مفیدتر از توصیه های عقیم باشد تا مطمئن شوید که محتوا “نیت کاربر را هدف قرار می دهد” و “کلمه کلیدی بهینه شده” است.

به عنوان مثال، من اخیراً یک سایت YMYL را بررسی کردم که در آن کل سایت به نظر می رسید که از یک چک لیست کارهای SEO ایجاد شده است.

• یک نمایه نویسنده ایجاد کنید
• نمایه نویسنده باید یک صفحه لینکدین داشته باشد
• کلیدواژه بهینه سازی ترافیک
• به سایت های “مرجع” پیوند دهید

ناشر از تصاویر تولید شده توسط هوش مصنوعی برای بیوگرافی نویسنده استفاده می کرد که در پروفایل جعلی لینکدین نیز استفاده می شد.

بسیاری از صفحات وب سایت به صفحات نازک .gov که کلمات کلیدی در عنوان دارند، اما اصلا مفید نیستند، پیوند دارند. مثل این بود که حتی به صفحه دولتی نگاه نکردند تا قضاوت کنند که آیا ارزش لینک دادن به آن را دارد یا خیر.

از نظر ظاهری، آنها کادرهای چک لیست کارهای سئو را علامت می‌زدند، فعالیت‌های سئو را تکمیل می‌کردند، مانند پیوند دادن به یک سایت .gov، ایجاد نمایه نویسنده و غیره.

آنها ظاهر ظاهری کیفیت را ایجاد کردند اما واقعاً به آن دست پیدا نکردند زیرا در هر مرحله به این فکر نمی کردند که آیا کاری که انجام می دهند مفید است یا خیر.

Crawl Budget چیزی برای نگرانی نیست

گری و مارتین شروع به صحبت در مورد این کردند که چگونه اکثر سایت ها نیازی به نگرانی در مورد بودجه خزیدن ندارند.

گری انگشت خود را به سمت وبلاگ‌هایی در صنعت جست‌وجو گرفت که در گذشته این ایده را ترویج می‌کردند که بودجه خزیدن چیزی نگران‌کننده است در حالی که به گفته او جای نگرانی نیست.

او گفت:

“من فکر می کنم تا حدودی ترس از اتفاقی است که آنها نمی توانند کنترل کنند، که مردم نمی توانند کنترل کنند، و چیز دیگر فقط اطلاعات غلط است.

… و در آن روزها برخی از وبلاگ‌ها وجود داشت که مردم در مورد بودجه خزیدن صحبت می‌کردند، و این بسیار مهم است، و سپس مردم آن را پیدا می‌کردند، و در مورد “آیا باید نگران بودجه خزیدن باشم یا نه؟”

مارتین اسپلیت پرسید:

“اما فرض کنید شما وبلاگ جالبی بودید… آیا باید نگران بودجه خزیدن باشید؟”

و گری پاسخ داد:

“من فکر می کنم بیشتر مردم نیازی به نگرانی در مورد آن ندارند، و وقتی می گویم بیشتر، احتمالاً بیش از 90٪ سایت های موجود در اینترنت نیازی به نگرانی در مورد آن ندارند.”

چند دقیقه بعد در پادکست مارتین مشاهده کرد:

اما مردم در مورد آن نگران هستند و من دقیقاً مطمئن نیستم که از کجا می آید.

من فکر می‌کنم این از این واقعیت ناشی می‌شود که چند وب‌سایت در مقیاس بزرگ مقالات و پست‌های وبلاگی دارند که در آن درباره بودجه خزیدن صحبت می‌کنند.

در دوره های آموزشی سئو مطرح می شود. تا جایی که من دیدم در کنفرانس ها در حال بحث است.

اما این مشکلی است که به ندرت پیش می آید. مثل اینکه این چیزی نیست که همه وب سایت ها از آن رنج ببرند، و با این حال، مردم در مورد آن بسیار عصبی هستند.

چگونه گوگل تعیین می کند چه چیزی را فهرست کند

آنچه بعداً دنبال شد، بحث در مورد عواملی بود که باعث می‌شوند گوگل محتوا را ایندکس کند.

زمانی جالب است که گری در مورد تمایل به فهرست بندی محتوایی که ممکن است جستجو شود صحبت می کند.

گری ایلیز:

«… چون همانطور که گفتیم، فضای بی نهایت نداریم، بنابراین می‌خواهیم چیزهایی را که فکر می‌کنیم فهرست کنیم – خوب، نه ما – اما الگوریتم‌های ما تعیین می‌کنند که ممکن است در نقطه‌ای جستجو شوند، و اگر نخواهیم برای مثال، سیگنال‌هایی در مورد یک سایت خاص یا یک URL خاص یا هر چیز دیگری دارید، پس چگونه می‌توانیم بدانیم که برای نمایه‌سازی باید آن را بخزیم؟»

گری گوگل سرچ مرکزی، نویسنده فناوری، لیزی ساسمن (@okaylizzi)، در ادامه در مورد استنباط از بقیه سایت صحبت شد که آیا ارزش ایندکس کردن محتوای جدید را دارد یا خیر.

“و برخی از چیزهایی که می توانید از آنها استنباط کنید – به عنوان مثال، اگر یک وبلاگ جدید را در سایت اصلی خود راه اندازی کنید، برای مثال، و برای مثال یک زیرشاخه وبلاگ جدید دارید، ما می توانیم بر اساس کل سایت به نوعی استنباط کنیم، چه بخواهیم زیاد از آن وبلاگ بخزیم یا نه.

لیزی ساسمن: اما وبلاگ نوع جدیدی از محتوا است که ممکن است بیشتر به‌روزرسانی شود، پس چگونه می‌توانیم بفهمیم که…؟ تازه تازه است. ما مطمئن نیستیم که آیا قرار است خبری باشد، مثل اینکه چگونه
مکرر هنوز مشخص نیست

گری ایلیز: اما ما به یک سیگنال شروع نیاز داریم.

لیزی ساسمن: و سیگنال شروع این است…

گری ایلیس: از سایت اصلی استنباط کنید.

گری سپس به صحبت در مورد سیگنال های با کیفیت پرداخت. سیگنال های کیفیتی که آنها در مورد آنها صحبت کردند این بود که آیا سیگنال های مربوط به علاقه کاربر، آیا مردم به این محصول علاقه مند هستند؟ آیا افراد به این سایت علاقه مند هستند؟

او توضیح داد:

اما این فقط فرکانس به‌روزرسانی نیست. همچنین سیگنال های کیفیتی است که سایت اصلی دارد.

بنابراین، به عنوان مثال، اگر ببینیم که یک الگوی خاص در اینترنت بسیار محبوب است، مانند یک محصول اسلش در اینترنت بسیار محبوب است، و افراد در Reddit در مورد آن صحبت می کنند، سایت های دیگر به URL هایی در آن الگو لینک می دهند، سپس این یک سیگنال برای ما است که مردم به طور کلی سایت را دوست دارند.”

گری به صحبت در مورد سیگنال های محبوبیت و علاقه ادامه می دهد، اما در چارچوب گفتگو، که بخش جدیدی از سایتی است که راه اندازی شده است.

در بحث او بخش جدید را دایرکتوری می نامد.

ایلیز:

«در حالی که اگر چیزی دارید که مردم به آن پیوند نمی‌دهند، و سپس سعی می‌کنید یک فهرست جدید راه‌اندازی کنید، مثل این است که مردم از سایت خوششان نمی‌آید، پس چرا ما این فهرست جدید را که شما راه‌اندازی کرده‌اید بخزیم؟

و در نهایت، اگر مردم تازه شروع به پیوند دادن به آن کنند-“

خزیدن بودجه و سایت هایی که ایندکس می شوند

برای یادآوری برخی از مطالبی که در مورد آن بحث شد:

• گوگل ظرفیت بی نهایتی ندارد و نمی تواند همه چیز را در وب فهرست کند.
• از آنجایی که گوگل نمی تواند همه چیز را ایندکس کند، مهم است که فقط با فهرست کردن محتوایی که مهم است، انتخابی باشید.
• موضوعات محتوایی که مهم هستند تمایل دارند مورد بحث قرار گیرند
• سایت هایی که مهم هستند و تمایل به مفید بودن دارند، تمایل دارند که مورد بحث و بررسی قرار گیرند و به آنها پیوند داده شود

بدیهی است که این لیست جامعی از همه چیزهایی نیست که بر آنچه نمایه می شود تأثیر می گذارد. همچنین قرار نیست چک لیست سئو باشد.

این فقط ایده ای از انواع چیزهایی است که بسیار مهم هستند که گری ایلیز و مارتین اسپلیت درباره آن بحث کردند.

تصویر برجسته توسط Shutterstock/Trismegist san

نقل قول

پادکست را اینجا بشنوید: