چگونه می توان نتایج فیلتر را از Eating Crawl Budget متوقف کرد

سوال امروز Ask An SEO از Michal در براتیسلاوا می آید که می پرسد:

من یک مشتری دارم که وب سایتی با فیلترها بر اساس مکان های نقشه دارد. هنگامی که بازدید کننده روی نقشه حرکت می کند، یک URL جدید با فیلترها ایجاد می شود. آنها در نقشه سایت نیستند. با این حال، بیش از 700000 URL در کنسول جستجو (ایندکس نشده) و بودجه خزیدن وجود دارد.

بهترین راه برای خلاص شدن از شر این URL ها چیست؟ ایده من این است که مکان اصلی را “شاخص، دنبال کنید” نگه دارید و آدرس های اینترنتی جدید ایجاد شده در منطقه احاطه شده با فیلترها به “noindex، بدون دنبال کردن” تغییر کنند. همچنین مناطق احاطه شده را با علائم متعارف در محل پایه علامت گذاری کنید + پیوندهای ناخواسته را رد کنید.

سوال عالی، مایکل، و خبر خوب! پاسخ آسان برای پیاده سازی است.

ابتدا، بیایید به آنچه می‌خواهید نگاه کنیم و آن را در موقعیت‌های دیگر مانند تجارت الکترونیک و ناشران اعمال کنیم. به این ترتیب افراد بیشتری می توانند سود ببرند. سپس، به استراتژی های خود در بالا بروید و با راه حل پایان دهید.

Crawl Budget چیست و چگونه پارامترهایی ایجاد می شود که آن را هدر می دهد

اگر مطمئن نیستید که میکال به چه چیزی اشاره می کند بودجه خزیدن، این اصطلاحی است که برخی از متخصصان سئو برای توضیح اینکه گوگل و سایر موتورهای جستجو فقط صفحات زیادی را در وب سایت شما قبل از توقف آن می خزند.

اگر بودجه خزیدن شما در صفحات کم ارزش، نازک یا غیرقابل فهرست بندی استفاده می شود، ممکن است صفحات خوب و صفحات جدید شما در خزیدن یافت نشوند.

اگر آنها پیدا نشوند، ممکن است ایندکس یا بازخوانی نشوند. اگر ایندکس نشده باشند، نمی توانند ترافیک سئو را برای شما به ارمغان بیاورند.

به همین دلیل است که بهینه سازی بودجه خزیدن برای کارایی مهم است.

میکال مثالی از چگونگی آن را به اشتراک گذاشت “نازک” URL ها از دیدگاه سئو زمانی ایجاد می شوند که مشتریان از فیلترها استفاده می کنند.

تجربه برای کاربر ارزش افزوده است، اما از نقطه نظر سئو، یک صفحه مبتنی بر مکان بهتر است. این امر در مورد تجارت الکترونیک و ناشران نیز صدق می کند.

فروشگاه‌های تجارت الکترونیک جستجوهایی برای رنگ‌هایی مانند قرمز یا سبز و محصولاتی مانند تی‌شرت و چیپس سیب‌زمینی خواهند داشت.

اینها URL هایی را با پارامترهایی درست مانند جستجوی فیلتر مکان ها ایجاد می کنند. آنها همچنین می توانند با استفاده از فیلترهایی برای اندازه، جنسیت، رنگ، قیمت، تنوع، سازگاری و غیره در فرآیند خرید ایجاد شوند.

نتایج فیلتر شده به کاربر نهایی کمک می کند، اما به طور مستقیم با صفحه مجموعه رقابت می کند، و مجموعه خواهد بود “غیر لاغر” نسخه

ناشران هم همین را دارند. ممکن است شخصی در SEJ به دنبال SEO یا PPC در کادر جستجو باشد و یک نتیجه فیلتر شده دریافت کند. نتیجه فیلتر شده دارای مقالات خواهد بود، اما دسته بندی انتشار احتمالا بهترین نتیجه برای یک موتور جستجو است.

این نتایج فیلتر شده را می توان ایندکس کرد زیرا در رسانه های اجتماعی به اشتراک گذاشته می شوند یا شخصی آنها را به عنوان نظر در وبلاگ یا انجمن اضافه می کند و یک بک لینک قابل خزیدن ایجاد می کند. همچنین ممکن است یک کارمند در بخش خدمات مشتری به سؤالی در وبلاگ شرکت یا هر روش دیگری پاسخ دهد.

اکنون هدف این است که مطمئن شویم موتورهای جستجو برای خزیدن زمان خود را صرف نمی کنند “نازک” نسخه‌ها، تا بتوانید از بودجه خزیدن خود بیشترین بهره را ببرید.

تفاوت بین نمایه سازی و خزیدن

قبل از پرداختن به ایده‌ها و راه‌حل‌های پیشنهادی، یک چیز دیگر باید یاد بگیرید – تفاوت بین نمایه‌سازی و خزیدن.

• خزیدن، کشف صفحات جدید در یک وب سایت است.
• نمایه سازی عبارت است از افزودن صفحاتی که ارزش نمایش دادن به شخصی را که از موتور جستجو استفاده می کند به پایگاه داده صفحات.

صفحات می توانند خزیده شوند اما ایندکس نمی شوند. صفحات نمایه شده احتمالاً خزیده شده اند و احتمالاً برای جستجوی به روز رسانی ها و پاسخ های سرور دوباره خزیده می شوند.

اما همه صفحات ایندکس شده ترافیک وارد نمی‌کنند یا به صفحه اول نمی‌رسند، زیرا ممکن است بهترین پاسخ ممکن برای درخواست‌های جستجو شده نباشند.

حال، بیایید به استفاده موثر از بودجه خزیدن برای این نوع راه حل ها بپردازیم.

استفاده از Meta Robots یا X Robots

اولین راه حلی که میشال به آن اشاره کرد، یک راه حل بود «فهرست، دنبال کردن» بخشنامه این به یک موتور جستجو می‌گوید که صفحه را فهرست کند و پیوندهای موجود در آن را دنبال کند. این ایده خوبی است، اما تنها در صورتی که نتیجه فیلتر شده، تجربه ایده آلی باشد.

از آنچه که من می بینم، اینطور نیست، بنابراین توصیه می کنم آن را بسازید “noindex، دنبال کنید.”

Noindex می گوید، “این یک صفحه رسمی نیست، اما هی، به خزیدن در سایت من ادامه دهید، صفحات خوبی را در اینجا خواهید یافت.”

و اگر منوی اصلی و پیوندهای داخلی ناوبری خود را به درستی انجام دهید، امیدوارم عنکبوت به خزیدن آنها ادامه دهد.

Canonicals برای حل بودجه هدر رفته Crawl

پیوندهای متعارف برای کمک به موتورهای جستجو برای اینکه بدانند صفحه رسمی برای فهرست کردن چیست استفاده می شود.

اگر یک محصول در سه دسته در سه URL جداگانه وجود داشته باشد، فقط یکی باید باشد “مقام” نسخه، بنابراین دو نسخه تکراری باید دارای یک اشاره متعارف به نسخه رسمی باشند. رسمی باید یک پیوند متعارف داشته باشد که به خودش اشاره کند. این در مورد مکان های فیلتر شده اعمال می شود.

اگر جستجوی مکان منجر به چندین صفحه شهر یا محله شود، نتیجه احتمالاً تکراری از صفحه رسمی شما در نقشه سایت شما خواهد بود.

در صورتی که محتوای صفحه مانند دسته اصلی باقی بماند، نتایج فیلتر شده را به جای ارجاع به خود به صفحه اصلی فیلتر نشان دهید.

اگر محتوا با همان مکان‌ها به صفحه بومی‌سازی شده شما وارد شد، به جای آن صفحه متعارف را به آن صفحه نشان دهید.

در بیشتر موارد، نسخه فیلتر شده صفحه‌ای را که جستجو کرده‌اید یا از آن فیلتر کرده‌اید به ارث می‌برد، بنابراین همان جایی است که canonical باید به آن اشاره کند.

اگر هم noindex انجام دهید و هم یک خود ارجاع متعارف داشته باشید، که بیش از حد است، به یک سیگنال متضاد تبدیل می شود.

همین امر در مورد زمانی که شخصی محصولی را با نام در وب سایت شما جستجو می کند صدق می کند. نتیجه جستجو ممکن است با صفحه محصول یا خدمات واقعی رقابت کند.

با این راه حل، به عنکبوت می گویید که این صفحه را ایندکس نکند، زیرا ارزش ایندکس کردن را ندارد، اما نسخه رسمی آن نیز هست. انجام این کار منطقی نیست.

در عوض، همانطور که در بالا ذکر کردم، از یک پیوند متعارف استفاده کنید، یا نتیجه را noindex کنید و کانونیکال را به نسخه رسمی نشان دهید.

برای افزایش راندمان خزیدن خودداری کنید

انکار ربطی به کارایی خزیدن ندارد مگر اینکه عنکبوت های موتور جستجو شما را پیدا کنندنازک” صفحات از طریق بک لینک های اسپم.

ابزار Disavow از Google راهی برای گفتن است: «سلام، این بک لینک‌ها هرزنامه هستند و ما نمی‌خواهیم آنها به ما آسیب برسانند. لطفاً آنها را در اعتبار سایت ما به حساب نیاورید.»

در بیشتر موارد، مهم نیست، زیرا گوگل در شناسایی لینک های هرزنامه و نادیده گرفتن آنها خوب عمل می کند.

شما نمی خواهید سایت خود و URL های خود را به ابزار Disavow اضافه کنید. شما به گوگل می گویید که سایت خودتان اسپم است و ارزشی ندارد.

بعلاوه، ارسال بک لینک‌ها برای رد کردن، مانع از دیدن آنچه شما می‌خواهید و نمی‌خواهید خزنده شود، عنکبوت را نمی‌گیرد، زیرا فقط برای این است که بگوید یک لینک از سایت دیگری اسپم است.

رد کردن به کارایی خزیدن یا صرفه جویی در بودجه خزیدن کمکی نمی کند.

چگونه بودجه‌های خزیدن را کارآمدتر کنیم

پاسخ robots.txt است. به این ترتیب به موتورهای جستجو و عنکبوت های خاص می گویید که چه چیزی را بخزند.

می‌توانید پوشه‌هایی را که می‌خواهید آنها را بخزند، با بازاریابی آن‌ها به‌عنوان آن‌ها اضافه کنید “اجازه دادن” و شما می توانید بگویید “عدم اجازه” در نتایج فیلتر شده با غیر مجاز کردن «؟» یا نماد “&” یا هر کدام که استفاده می کنید.

اگر برخی از آن پارامترها باید خزیده شوند، کلمه اصلی مانند را اضافه کنید “?filter=location” یا یک پارامتر خاص

Robots.txt نحوه تعریف مسیرهای خزیدن و کار بر روی کارایی خزیدن است. هنگامی که آن را بهینه کردید، به لینک های داخلی خود نگاه کنید. پیوندی از یک صفحه در سایت شما به صفحه دیگر.

این‌ها به عنکبوت‌ها کمک می‌کنند تا مهم‌ترین صفحات شما را پیدا کنند و در عین حال یاد بگیرند که هر کدام درباره چه چیزی هستند.

لینک های داخلی شامل:

• خرده نان.
• پیمایش منو
• پیوندهای درون محتوا به صفحات دیگر.
• منوهای زیر مجموعه
• لینک های پاورقی.

همچنین اگر سایت بزرگی دارید و عنکبوت ها صفحات مورد نظر شما را با اولویت پیدا نمی کنند، می توانید از نقشه سایت استفاده کنید.

امیدوارم این به پاسخ سوال شما کمک کند. این یکی از مواردی است که من بسیار دریافت می کنم – شما تنها کسی نیستید که در آن موقعیت گیر کرده اید.

منابع بیشتر:

تصویر ویژه: پائولو بوبیتا/ژورنال موتور جستجو