چرا صفحات من کشف می شوند اما ایندکس نمی شوند؟

سوال امروز Ask An SEO از Mandeep می آید که با ایندکس کردن سایت خود مشکل دارد.

ماندیپ می پرسد:

ما یک وب سایت را دوباره طراحی کرده ایم و چند صفحه جدید اضافه کرده ایم. برخی از صفحات با موفقیت ایندکس شدند و برخی نه.

من چندین بار در گوگل امتحان کردم اما جواب نداد. اکنون، در حالی که من URL را به فهرست ارسال می کنم، این خطا را از طریق کنسول جستجوی گوگل نشان می دهد: کشف شده – در حال حاضر ایندکس نشده است […]

من همه چیز را امتحان کردم اما هیچ کار نمی کند. لطفا به من کمک کنید تا این مشکل را حل کنم.»

این هشدار از بخش «صفحات» گزارش «نمایه‌سازی» در کنسول جستجوی گوگل می‌آید. این گزارش به کاربران اطلاعاتی در مورد صفحاتی که گوگل خزیده و فهرست کرده است و مشکلاتی که ممکن است در انجام این کار با آن مواجه شده باشد به کاربران می دهد.

این گزارش جزئیات صفحاتی را که با موفقیت خزیده شده و نمایه شده اند ارائه می دهد. همچنین دلایل ایندکس نشدن صفحات سایت را فهرست می کند.

آیا اگر صفحه ای ایندکس نشده باشد مشکلی است؟

اکثر سایت ها صفحاتی دارند که ایندکس نشده اند. اینها اغلب به درخواست صاحب وب سایت است.

به عنوان مثال، ممکن است یک صفحه عمداً از طریق یک برچسب HTML “noindex” در صفحه از فهرست های موتور جستجو حذف شود، یا ممکن است از خزیدن در فایل robots.txt جلوگیری شود.

نشانی‌های اینترنتی که عمداً از نمایه‌سازی حذف شده‌اند، در این گزارش ظاهر می‌شوند و همچنین صفحاتی با مشکلات نمایه‌سازی مشکل‌ساز ظاهر می‌شوند.

به طور کلی، ممکن است کمی طول بکشد تا یک صفحه جدید در یک وب سایت خزیده شود و ایندکس شود. صفحه جدیدی که زمان می برد تا در میان صفحات “نمایه شده” در گزارش ظاهر شود، همیشه نشانه وجود مشکل نیست.

همه دلایل در گزارش «چرا صفحات ایندکس نمی‌شوند» نیازی به بررسی ندارند.

مسائل نمایه سازی

گوگل هر URL را که پیدا می کند نمی خزند و فهرست نمی کند. نگرانی اصلی شما به عنوان یک مدیر وب سایت این است که صفحاتی که می خواهید به عنوان نتیجه جستجو در دسترس باشند ایندکس شوند.

اساساً، اگر ایندکس نشده باشند، واجد شرایط بودن برای نتیجه جستجو نخواهند بود.

دلایل متعددی در گزارش «چرا صفحات ایندکس نمی‌شوند» وجود دارد انجام دهید مشکلی را در سایت پیشنهاد دهید که باید بررسی شود. به عنوان مثال، “خطای سرور (500)” و “Soft 404”.

این پرچم‌ها ممکن است لزوماً برای هر URL مشکلی ایجاد نکنند، اگر می‌خواهید آن‌هایی نباشند که شما می‌خواهید ایندکس کنید، اما می‌توانند نشان دهنده یک مشکل گسترده‌تر در سایت باشند.

“کشف شده – در حال حاضر نمایه نشده” چیست؟

«کشف شد – در حال حاضر ایندکس نشده» خطایی است که گوگل برای نشانی‌های اینترنتی که می‌داند اما فهرست‌بندی نکرده است، پرچم‌گذاری می‌کند.

آنچه مهم است به خاطر بسپارید این است که URL ها در این سطل ظاهر نمی شوند اگر بتوانند در گزارش دیگری قرار بگیرند.

برای مثال، صفحه‌ای با تگ noindex ممکن است از نظر فنی توسط Google کشف شده باشد و ایندکس نشده باشد، اما در سطل «Excluded by 'noindex' tag» ظاهر می‌شود، بنابراین صفحاتی در سطل «کشف شده – در حال حاضر فهرست نشده» وجود دارد. به دلیل دیگری

توضیحی که گوگل برای نشانی اینترنتی که به صورت «کشف شده – در حال حاضر نمایه‌سازی نشده» ارائه می‌کند این است:

«این صفحه توسط گوگل پیدا شد، اما هنوز خزیده نشده است. به طور معمول، گوگل می‌خواست URL را بخزد، اما انتظار می‌رفت این کار باعث بارگیری بیش از حد سایت شود. بنابراین گوگل خزیدن را دوباره برنامه ریزی کرد. به همین دلیل است که آخرین تاریخ خزیدن در گزارش خالی است.”

گوگل تلاش می‌کند تا ربات‌هایش را با وجدان بخزند.

یعنی، از آنجایی که Googlebot تنها بازدیدکننده یک سایت نیست، و شاید یکی از بسیاری از ربات‌هایی که آن را می‌خزند، نمی‌خواهد با ارسال «درخواست‌های» بیش از حد به سرور، سایت را خراب کند.

چه چیزی ممکن است باعث “کشف یک URL – در حال حاضر ایندکس نشده” شود؟

دو دلیل اصلی وجود دارد که یک صفحه برای گوگل شناخته شده است اما ایندکس نشده است. جان مولر در سال 2023 جزئیاتی در مورد این موارد ارائه کرد.

اساساً، در کنار نگرانی‌ها در مورد ظرفیت سرور برای مقاومت در برابر خزیدن، کیفیت صفحه نیز در نظر گرفته می‌شود.

حال اگر صفحه ای خزیده نشده باشد، گوگل چگونه می تواند کیفیت آن را بداند؟ خوب، نمی تواند. کاری که می تواند انجام دهد این است که بر اساس کیفیت صفحات در سایر نقاط سایت فرضیاتی ایجاد کند.

درست است – صفحات نازک، تکراری و کم ارزش در جای دیگر وب سایت شما می توانند بر نمایه سازی صفحات اصلی شما تأثیر بگذارند.

چگونه مشکل را برطرف کنیم

هیچ راه حل سریعی برای انتقال یک صفحه از “کشف شده – در حال حاضر فهرست نشده” به “نمایه شده” وجود ندارد، اما چندین راه حل وجود دارد که می توانید امتحان کنید.

بررسی کنید که آیا صفحه واقعاً ایندکس شده است یا خیر

اولین درگاه تماس این است که مشخص شود آیا گزارش کنسول جستجوی گوگل دقیق و به روز است یا خیر.

در گوشه سمت راست بالای گزارش، تاریخ «آخرین به‌روزرسانی» را مشاهده خواهید کرد. این به شما ایده می دهد که آیا گزارش ممکن است قدیمی باشد یا خیر.

بعد به گوگل بروید و a را انجام دهید سایت:[yourwebsitedomain] inurl:[the URL slug of the page you want to index] جستجو کنید.

اگر صفحه به عنوان یک نتیجه جستجو برگردانده شود، می دانید که در واقع ایندکس شده است.

به گزارش کمی زمان دهید تا به‌روزرسانی شود و در قسمت «نمایه‌گذاری شده» ظاهر می‌شود و نه در گزارش «کشف شد – در حال حاضر نمایه‌سازی نشده است».

کیفیت صفحه سایت خود را بررسی کنید

در مرحله بعد، ممکن است بخواهید کیفیت کلی وب سایت خود را در نظر بگیرید، زیرا این می تواند دلیل ایندکس نکردن صفحه شما توسط گوگل باشد.

به یاد داشته باشید، کیفیت فقط معیاری برای کلمات موجود در سایت شما، ارتباط آنها با جستارهای جستجو و کلی “EEAT” نمایش داده شده نیست. در عوض، جان مولر از گوگل آن را چنین توصیف کرد:

وقتی صحبت از کیفیت محتوا می شود، منظور ما فقط متن مقالات شما نیست.

این واقعاً کیفیت کلی وب سایت شما است.

و این شامل همه چیز از چیدمان گرفته تا طراحی می شود.

مانند اینکه چگونه چیزهایی را در صفحات خود ارائه می کنید، چگونه تصاویر را یکپارچه می کنید، چگونه با سرعت کار می کنید، همه این عوامل به نوعی در آنجا نقش دارند.”

بنابراین، وب سایت خود را با در نظر گرفتن این معیارها بررسی کنید. کیفیت وب سایت شما در مقایسه با رقبای شما چگونه است؟

ممیزی کامل وب سایت محل خوبی برای شروع است.

صفحات تکراری را بررسی کنید

گاهی اوقات، یک وب سایت ممکن است صفحات بی کیفیت یا تکراری داشته باشد که مدیر وب سایت از آنها اطلاعی نداشته باشد.

به عنوان مثال، یک صفحه ممکن است از طریق چندین URL قابل دسترسی باشد. ممکن است یک صفحه «تماس با ما» داشته باشید که هم در exampledomain.com/contact-us و هم در exampledomain.com/contact-us/ وجود دارد.

URL با و بدون “اسلش دنباله دار” توسط Googlebot صفحات جداگانه ای در نظر گرفته می شود اگر بتواند به هر دو دسترسی پیدا کند و سرور یک کد وضعیت 200 را برمی گرداند. یعنی هر دو صفحه لایو هستند.

این احتمال وجود دارد که همه صفحات شما به همین شکل کپی شوند.

همچنین ممکن است پارامترهای URL زیادی در وب سایت خود داشته باشید که از آنها بی اطلاع باشید. اینها URLهایی هستند که حاوی “رشته های جستجو” هستند، مانند exampledomain.com/dress?colour=red.

آنها معمولاً به دلیل فیلتر کردن و مرتب سازی گزینه ها در وب سایت شما ایجاد می شوند. در یک وب‌سایت تجارت الکترونیک، این صفحه ممکن است مانند صفحه دسته‌بندی محصول به نظر برسد که بر اساس معیارهایی مانند رنگ فیلتر می‌شود و می‌تواند بر اساس قیمت مرتب شود.

در نتیجه ویژگی های اصلی صفحه با این فیلترینگ و مرتب سازی تغییر نمی کند و فقط محصولات لیست شده تغییر می کند. این صفحات از نظر فنی جدا و قابل خزیدن هستند و ممکن است باعث ایجاد موارد تکراری زیادی در سایت شما شوند.

ممکن است فکر کنید وب سایت شما فقط 100 صفحه با کیفیت بالا در خود دارد. با این حال، Googlebot ممکن است صدها هزار صفحه تقریباً تکراری را در نتیجه این مشکلات فنی ببیند.

راه‌هایی برای رفع «کشف شده – در حال حاضر فهرست‌بندی نشده»

هنگامی که دلایل احتمالی ایندکس نشدن URL خود را شناسایی کردید، می توانید سعی کنید آن را برطرف کنید.

اگر وب سایت شما دارای صفحات تکراری، محتوای با کیفیت پایین، خراشیده شده یا سایر مشکلات کیفیت است، از آنجا شروع کنید.

به عنوان یک مزیت جانبی، احتمالاً با تلاش برای رفع این مشکلات، رتبه بندی خود را در صفحات خود بهبود می بخشید.

اهمیت صفحه را نشان دهید

در مثال سوال ابتدایی ما، صفحه خاصی وجود دارد که ماندیپ در تلاش برای ایندکس شدن است.

در این سناریو، من پیشنهاد می کنم سعی کنید اهمیت صفحه را در چشم موتورهای جستجو تقویت کنید. به آنها دلیلی برای خزیدن آن بدهید.

صفحه را به نقشه سایت XML وب سایت اضافه کنید

یکی از راه‌های نشان دادن گوگل که صفحه مهمی است که شایسته خزیدن و ایندکس شدن است، افزودن آن به نقشه سایت XML وب سایت شما است.

این اساساً نشانه ای برای همه URL هایی است که به نظر شما ربات های جستجو باید آنها را بخزند.

به یاد داشته باشید، Googlebot از قبل می داند که صفحه وجود دارد. فقط فکر نمی کند که خزیدن و فهرست کردن آن مفید باشد.

اگر قبلاً در نقشه سایت XML وجود دارد، در اینجا متوقف نشوید. این مراحل بعدی را در نظر بگیرید.

پیوندهای داخلی را به صفحه اضافه کنید

راه دیگر برای نشان دادن اهمیت یک صفحه، پیوند دادن به آن از صفحات داخلی سایت است.

به عنوان مثال، اضافه کردن صفحه به سیستم ناوبری اصلی خود، مانند منوی اصلی.

یا پیوندهای متنی را از داخل کپی در صفحات دیگر وب سایت خود به آن اضافه کنید. اینها به Googlebot نشان می دهد که صفحه مهمی در وب سایت شما است.

پیوندهای خارجی را به صفحه اضافه کنید

بک لینک ها – آنها بخش اساسی سئو هستند. مدتی است که می‌دانیم Google از پیوندهای سایر وب‌سایت‌ها برای تعیین ارتباط و اعتبار یک صفحه با یک موضوع استفاده می‌کند.

اگر تلاش می کنید به گوگل نشان دهید که صفحه شما از کیفیت کافی برای فهرست بندی برخوردار است، پس داشتن لینک های خارجی از وب سایت های معتبر و مرتبط که به آن اشاره می کنند می تواند اطمینان بیشتری از ارزش صفحه به شما بدهد.

به عنوان مثال، اگر صفحه ای که در تلاش برای ایندکس شدن هستید، صفحه جزئیات محصول لباس قرمز خاص است، در این صورت وجود صفحه آن لباس در برخی وبلاگ های مد ممکن است به گوگل این سیگنال را بدهد که صفحه با کیفیت بالایی است.

آن را برای خزیدن ارسال کنید

هنگامی که تغییراتی را در وب سایت خود ایجاد کردید، سعی کنید صفحه را مجدداً از طریق Google Search Console ارسال کنید تا خزیده شود.

اگر در گزارش «نمایه‌سازی» کنسول جستجوی Google متوجه شدید که نشانی اینترنتی پس از مدتی همچنان در سطل «کشف شد – در حال حاضر خزیده نشده» است (خزیدن صفحه ارسالی توسط Google ممکن است از چند روز تا چند هفته طول بکشد. ، سپس می دانید که به طور بالقوه هنوز برخی از مشکلات با صفحه دارید.

به طور خلاصه

وب سایت خود را برای خزیدن و نمایه سازی بهینه کنید. اگر این کار را انجام دهید، احتمالاً مشاهده خواهید کرد که آن صفحات از «کشف شده – در حال حاضر فهرست‌بندی نشده» به «نمایه‌سازی شده» منتقل می‌شوند.

بهینه سازی وب سایت خاص شما به تجزیه و تحلیل عمیق کیفیت کلی سایت و شناسایی نحوه انتقال اهمیت صفحات «کشف شده – در حال حاضر فهرست نشده» به Googlebot نیاز دارد.

منابع بیشتر:

---

تصویر ویژه: پائولو بوبیتا/ژورنال موتور جستجو