چه چیزی، چرا و چگونه بهینه سازی کنیم

خزیدن برای هر وب سایتی، چه بزرگ و چه کوچک، ضروری است.

اگر محتوای شما خزیده نمی شود، شانسی برای دیده شدن در سطوح گوگل ندارید.

بیایید در مورد اینکه چگونه خزیدن را بهینه کنیم تا محتوای خود را در معرض دید خود قرار دهیم، صحبت کنیم.

خزیدن در سئو چیست؟

در زمینه سئو، خزیدن فرآیندی است که در آن ربات‌های موتور جستجو (همچنین به عنوان خزنده‌های وب یا عنکبوت شناخته می‌شوند) به طور سیستماتیک محتوای یک وب‌سایت را کشف می‌کنند.

این ممکن است متن، تصاویر، ویدیوها یا انواع فایل های دیگری باشد که برای ربات ها قابل دسترسی است. صرف نظر از قالب، محتوا منحصراً از طریق پیوندها یافت می شود.

خزیدن وب چگونه کار می کند

یک خزنده وب با کشف URL ها و دانلود محتوای صفحه کار می کند.

در طی این فرآیند، آنها ممکن است محتوا را به فهرست موتور جستجو منتقل کنند و پیوندهایی را به سایر صفحات وب استخراج کنند.

این پیوندهای یافت شده در دسته بندی های مختلفی قرار می گیرند:

• URL های جدید که برای موتور جستجو ناشناخته هستند.
• URL های شناخته شده ای که هیچ راهنمایی در مورد خزیدن ارائه نمی کنند به طور دوره ای مورد بازبینی قرار می گیرد تا مشخص شود آیا تغییراتی در محتوای صفحه ایجاد شده است یا خیر، و بنابراین فهرست موتور جستجو نیاز به به روز رسانی دارد.
• URL های شناخته شده ای که به روز شده اند و رهنمودهای روشن ارائه کنید. آنها باید دوباره خزیده شوند و دوباره نمایه شوند، مثلاً از طریق یک نقشه سایت XML، مهر زمان آخرین مد.
• URL های شناخته شده ای که به روز نشده اند و رهنمودهای روشن ارائه کنید. آنها نباید دوباره خزیده شوند یا دوباره فهرست شوند، مانند سرصفحه پاسخ HTTP 304 Not Modified.
• آدرس های اینترنتی غیر قابل دسترس که نمی توانند یا نباید دنبال شوند، به عنوان مثال، کسانی که پشت فرم ورود به سیستم هستند یا پیوندهایی که توسط یک برچسب روبات “nofollow” مسدود شده اند.
• URL های غیر مجاز که ربات های موتور جستجو نمی خزند، به عنوان مثال، ربات هایی که توسط فایل robots.txt مسدود شده اند.

همه URL های مجاز به لیستی از صفحاتی که در آینده از آنها بازدید می شود، اضافه می شوند که به عنوان صف خزیدن.

با این حال، به آنها اولویت های مختلفی داده می شود.

این نه تنها به دسته بندی پیوندها بلکه به مجموعه ای از عوامل دیگر بستگی دارد که اهمیت نسبی هر صفحه را در چشم هر موتور جستجو تعیین می کند.

بیشتر موتورهای جستجوی محبوب، ربات های مخصوص به خود را دارند که از الگوریتم های خاصی برای تعیین اینکه چه چیزی و چه زمانی می خزند، استفاده می کنند. این بدان معناست که همه یکسان نمی خزند.

Googlebot متفاوت از Bingbot، DuckDuckBot، Yandex Bot یا Yahoo Slurp رفتار می کند.

چرا مهم است که سایت شما قابل خزیدن باشد

اگر صفحه ای در سایتی خزیده نشود، در نتایج جستجو رتبه بندی نمی شود، زیرا احتمال ایندکس شدن آن بسیار کم است.

اما دلایل مهم بودن خزیدن بسیار عمیق تر است.

خزیدن سریع برای محتوای محدود زمانی ضروری است.

اغلب، اگر خزیده نشود و به سرعت قابل مشاهده نباشد، برای کاربران بی ربط می شود.

به عنوان مثال، مخاطبان با اخبار فوری هفته گذشته، رویدادی که گذشته است یا محصولی که اکنون فروخته شده است، درگیر نخواهند شد.

اما حتی اگر در صنعتی کار نمی‌کنید که زمان بازاریابی در آن حیاتی است، خزیدن سریع همیشه سودمند است.

وقتی یک مقاله را بازخوانی می‌کنید یا یک تغییر قابل توجه در سئوی صفحه منتشر می‌کنید، هرچه ربات Google سریع‌تر آن را بخزد، سریع‌تر از بهینه‌سازی سود می‌برید – یا اشتباه خود را می‌بینید و می‌توانید برگردانید.

اگر Googlebot به آرامی در حال خزیدن باشد، نمی توانید سریع شکست بخورید.

به خزیدن به عنوان سنگ بنای سئو فکر کنید. دید ارگانیک شما کاملاً به این بستگی دارد که در وب سایت شما به خوبی انجام شود.

اندازه گیری خزیدن: خزیدن بودجه در مقابل. کارایی خزیدن

برخلاف تصور رایج، هدف گوگل این نیست که تمام محتوای همه وب سایت ها را در اینترنت بخزد و فهرست کند.

خزیدن یک صفحه تضمینی نیست. در واقع، بیشتر سایت ها دارای بخش قابل توجهی از صفحات هستند که هرگز توسط Googlebot خزیده نشده اند.

اگر در گزارش نمایه سازی صفحه Google Search Console عبارت «کشف شد – در حال حاضر فهرست نشده» را مشاهده کردید، این مشکل شما را تحت تأثیر قرار می دهد.

اما اگر این استثنا را نمی‌بینید، لزوماً به این معنی نیست که مشکل خزیدن ندارید.

یک تصور غلط رایج در مورد اینکه چه معیارهایی هنگام اندازه گیری خزیدن معنی دار هستند وجود دارد.

اشتباه بودجه خزیدن

متخصصان سئو اغلب به دنبال این هستند بودجه خزیدن، که به تعداد URL هایی که Googlebot می تواند و می خواهد در یک بازه زمانی خاص برای یک وب سایت خاص بخزد اشاره دارد.

این مفهوم برای به حداکثر رساندن خزیدن فشار می آورد. این موضوع با گزارش وضعیت خزیدن کنسول جستجوی Google که تعداد کل درخواست‌های خزیدن را نشان می‌دهد، تقویت می‌شود.

اما این ایده که خزیدن بیشتر ذاتاً بهتر است کاملاً اشتباه است. تعداد کل خزیدن ها چیزی جز یک معیار بیهودگی نیست.

اغوا کردن 10 برابر تعداد خزیدن در روز لزوماً با فهرست بندی سریعتر (دوباره) محتوایی که به آن اهمیت می دهید مرتبط نیست. تمام چیزی که با آن مرتبط است این است که بار بیشتری روی سرورهای شما وارد می کند و هزینه بیشتری برای شما به همراه دارد.

تمرکز هرگز نباید روی افزایش کل خزیدن باشد، بلکه باید روی خزیدن با کیفیت باشد که منجر به ارزش سئو می شود.

ارزش اثربخشی Crawl

خزیدن کیفیت به معنای کاهش زمان بین انتشار یا به‌روزرسانی قابل توجه یک صفحه مرتبط با سئو و بازدید بعدی توسط Googlebot است. این تاخیر است کارایی خزیدن.

برای تعیین کارایی خزیدن، رویکرد توصیه شده استخراج مقدار تاریخ ایجاد شده یا به روز شده از پایگاه داده و مقایسه آن با مهر زمانی خزیدن بعدی Googlebot URL در فایل های گزارش سرور است.

اگر این امکان پذیر نیست، می توانید آن را با استفاده از تاریخ آخرین حالت در نقشه های سایت XML محاسبه کنید و به صورت دوره ای URL های مربوطه را با Search Console URL Inspection API جستجو کنید تا زمانی که آخرین وضعیت خزیدن را بازگرداند.

با کمی کردن تأخیر زمانی بین انتشار و خزیدن، می‌توانید تأثیر واقعی بهینه‌سازی‌های خزیدن را با معیاری که مهم است اندازه‌گیری کنید.

همانطور که کارایی خزیدن کاهش می یابد، محتوای جدید یا به روز شده مرتبط با سئو سریعتر به مخاطبان شما در سطوح Google نشان داده می شود.

اگر امتیاز کارآمدی خزیدن سایت شما نشان می‌دهد که Googlebot برای بازدید از محتوای مهم زمان زیادی می‌برد، برای بهینه‌سازی خزیدن چه کاری می‌توانید انجام دهید؟

پشتیبانی موتور جستجو برای خزیدن

در چند سال گذشته صحبت های زیادی در مورد اینکه چگونه موتورهای جستجو و شرکای آنها بر روی بهبود خزیدن تمرکز می کنند، شده است.

بالاخره به نفع آنهاست. خزیدن کارآمدتر نه تنها به آنها امکان دسترسی به محتوای بهتر برای تقویت نتایج را می دهد، بلکه با کاهش گازهای گلخانه ای به اکوسیستم جهان نیز کمک می کند.

بیشتر صحبت ها در مورد دو API است که هدف آنها بهینه سازی خزیدن است.

ایده این است که به جای اینکه عنکبوت‌های موتورهای جستجو تصمیم بگیرند چه چیزی خزیده شوند، وب‌سایت‌ها می‌توانند URLهای مرتبط را مستقیماً از طریق API به موتورهای جستجو فشار دهند تا خزیدن را آغاز کنند.

در تئوری، این نه تنها به شما امکان می‌دهد جدیدترین محتوای خود را سریع‌تر ایندکس کنید، بلکه راهی را برای حذف مؤثر URLهای قدیمی ارائه می‌دهد، چیزی که در حال حاضر به خوبی توسط موتورهای جستجو پشتیبانی نمی‌شود.

پشتیبانی غیر Google از IndexNow

اولین API است IndexNow. این مورد توسط Bing، Yandex و Seznam پشتیبانی می‌شود، اما مهم‌تر اینکه گوگل پشتیبانی نمی‌کند. همچنین در بسیاری از ابزارهای SEO، CRMها و CDN ها ادغام شده است و به طور بالقوه تلاش توسعه مورد نیاز برای استفاده از IndexNow را کاهش می دهد.

ممکن است این یک پیروزی سریع برای سئو به نظر برسد، اما محتاط باشید.

آیا بخش قابل توجهی از مخاطبان هدف شما از موتورهای جستجوی پشتیبانی شده توسط IndexNow استفاده می کنند؟ در غیر این صورت، راه اندازی خزیدن از ربات های آنها ممکن است ارزش محدودی داشته باشد.

اما مهمتر از آن، ارزیابی کنید که ادغام در IndexNow چه کاری را برای وزن سرور در مقابل بهبود امتیاز کارایی خزیدن برای آن موتورهای جستجو انجام می دهد. ممکن است هزینه ها ارزش سود را نداشته باشند.

پشتیبانی گوگل از API Indexing

دومی آن است Google Indexing API. گوگل بارها اعلام کرده است که API را فقط می توان برای خزیدن در صفحات با نشان‌گذاری رویداد یا پست کاری استفاده کرد. و بسیاری این را آزمایش کرده و نادرستی این گفته را ثابت کرده اند.

با ارسال URL های ناسازگار به Google Indexing API شاهد افزایش قابل توجهی در خزیدن خواهید بود. اما این مورد عالی برای این است که چرا «بهینه‌سازی بودجه خزیدن» و تصمیم‌گیری بر اساس میزان خزیدن اشتباه تصور می‌شود.

زیرا برای URL های ناسازگار، ارسال هیچ تاثیری بر نمایه سازی ندارد. و هنگامی که به فکر کردن در مورد آن توقف می کنید، این کاملا منطقی است.

شما فقط یک URL ارسال می کنید. Google به سرعت صفحه را می خزد تا ببیند آیا داده های ساختاری مشخص شده را دارد یا خیر.

اگر چنین است، ایندکس را تسریع خواهد کرد. اگر نه، نمی شود. گوگل آن را نادیده می گیرد.

بنابراین، فراخوانی API برای صفحات غیرمنطبق کاری جز اضافه کردن بار غیرضروری بر روی سرور شما و هدر دادن منابع توسعه بدون هیچ سودی ندارد.

پشتیبانی گوگل در کنسول جستجوی گوگل

راه دیگری که گوگل از خزیدن پشتیبانی می کند این است ارسال دستی در کنسول جستجوی گوگل

اکثر URL هایی که به این روش ارسال می شوند، خزیده می شوند و وضعیت نمایه سازی آنها در عرض یک ساعت تغییر می کند. اما محدودیت سهمیه 10 URL در 24 ساعت وجود دارد، بنابراین مشکل واضح در مورد این تاکتیک مقیاس است.

با این حال، این به معنای نادیده گرفتن آن نیست.

می‌توانید ارسال URL‌هایی را که به‌عنوان اولویت می‌بینید، از طریق اسکریپت‌نویسی که اقدامات کاربر را تقلید می‌کند تا سرعت خزیدن و فهرست‌سازی را برای آن دسته از افراد معدود تسریع کند، خودکار کنید.

در نهایت، برای هر کسی که امیدوار است روی دکمه «تأیید تأیید اعتبار» در موارد استثناهای «کشف شده در حال حاضر فهرست نشده» خزیدن را آغاز کند، در آزمایش من تا به امروز، این کار هیچ کمکی به تسریع خزیدن نکرده است.

بنابراین اگر موتورهای جستجو کمک قابل توجهی به ما نکنند، چگونه می توانیم به خود کمک کنیم؟

نحوه دستیابی به خزیدن کارآمد سایت

پنج تاکتیک وجود دارد که می تواند در کارآیی خزیدن تفاوت ایجاد کند.

1. از پاسخگویی سریع و سالم سرور اطمینان حاصل کنید

یک سرور با عملکرد بالا بسیار مهم است. باید بتواند میزان خزیدنی را که Googlebot می‌خواهد انجام دهد، بدون تأثیر منفی بر زمان پاسخ‌دهی سرور یا خطا، کنترل کند.

بررسی کنید که وضعیت میزبان سایت شما در کنسول جستجوی گوگل سبز است، خطاهای 5xx زیر 1٪ است و زمان پاسخ سرور کمتر از 300 میلی ثانیه است.

2. محتوای بی ارزش را حذف کنید

هنگامی که بخش قابل توجهی از محتوای یک وب سایت با کیفیت پایین، قدیمی یا تکراری باشد، خزنده ها را از بازدید از محتوای جدید یا اخیراً به روز شده منحرف می کند و همچنین به نفخ ایندکس کمک می کند.

سریعترین راه برای شروع پاکسازی این است که گزارش صفحات کنسول جستجوی Google را برای استثناء «Crawled – در حال حاضر فهرست نشده» بررسی کنید.

در نمونه ارائه شده، به دنبال الگوهای پوشه یا سایر سیگنال های مشکل باشید. برای کسانی که پیدا کردید، با ادغام محتوای مشابه با تغییر مسیر 301 یا حذف محتوا با 404 در صورت لزوم، مشکل را برطرف کنید.

3. به Googlebot آموزش دهید چه چیزی نباید خزیده شود

در حالی که پیوندهای rel=کانونیکال و تگ‌های noindex در تمیز نگه داشتن نمایه گوگل وب سایت شما موثر هستند، اما برای خزیدن هزینه برای شما دارند.

در حالی که گاهی اوقات این ضروری است، در نظر بگیرید که آیا چنین صفحاتی در وهله اول نیاز به خزیدن دارند یا خیر. در غیر این صورت، Google را در مرحله خزیدن با غیر مجاز robot.txt متوقف کنید.

مواردی را که مسدود کردن خزنده ممکن است بهتر از ارائه دستورالعمل‌های نمایه‌سازی باشد، با جستجو در گزارش پوشش کنسول جستجوی Google برای مستثنی شدن از برچسب‌های canonical یا noindex پیدا کنید.

همچنین، نمونه URL های «ایندکس شده، ارسال نشده در نقشه سایت» و «کشف شده – در حال حاضر نمایه نشده» را در کنسول جستجوی گوگل مرور کنید. مسیرهای غیر مرتبط با سئو سایت مانند:

• صفحات پارامتر، مانند ?sort=oldest.
• صفحات کاربردی، مانند «سبد خرید».
• فضاهای بی نهایت، مانند فضاهایی که توسط صفحات تقویم ایجاد می شود.
• تصاویر، اسکریپت‌ها یا فایل‌های سبک بی‌اهمیت.
• URL های API

همچنین باید در نظر بگیرید که استراتژی صفحه بندی شما چگونه بر خزیدن تأثیر می گذارد.

4. به Googlebot در مورد اینکه چه زمانی و چه زمانی بخزد آموزش دهید

نقشه سایت XML بهینه شده ابزاری موثر برای هدایت Googlebot به سمت URL های مرتبط با سئو است.

بهینه به این معنی است که به صورت پویا با کمترین تاخیر به روز می شود و شامل آخرین تاریخ و زمان اصلاح می شود تا به موتورهای جستجو اطلاع دهد که آخرین بار چه زمانی صفحه به طور قابل توجهی تغییر کرده است و آیا باید دوباره خزیده شود.

5. از خزیدن از طریق پیوندهای داخلی پشتیبانی کنید

ما می دانیم که خزیدن فقط از طریق پیوندها امکان پذیر است. نقشه های سایت XML یک مکان عالی برای شروع هستند. لینک های خارجی قدرتمند هستند اما ساخت انبوه با کیفیت چالش برانگیز هستند.

از سوی دیگر، پیوندهای داخلی نسبتاً آسان هستند و تأثیرات مثبت قابل توجهی بر کارایی خزیدن دارند.

توجه ویژه را روی ناوبری در سراسر سایت تلفن همراه، خرده نان، فیلترهای سریع و پیوندهای محتوای مرتبط متمرکز کنید – مطمئن شوید که هیچ کدام به جاوا اسکریپت وابسته نیستند.

خزیدن وب را بهینه کنید

امیدوارم موافق باشید: خزیدن وب سایت برای سئو اساسی است.

و اکنون یک KPI واقعی در کارآیی خزیدن برای اندازه‌گیری بهینه‌سازی‌ها دارید – بنابراین می‌توانید عملکرد ارگانیک خود را به سطح بعدی ببرید.

منابع بیشتر:

---

تصویر ویژه: BestForBest/Shutterstock