تفاوت چیست و چگونه هر دو را برطرف کنیم

کنسول جستجوی گوگل درباره خطاهای 404 به ناشران هشدار می دهد: 404 و soft 404.

در حالی که هر دو 404 نامیده می شوند، بسیار متفاوت هستند.

در نتیجه، درک تفاوت بین خطاها برای رفع آنها ضروری است.

کدهای وضعیت HTTP

یک صفحه وب که توسط مرورگر به آن دسترسی پیدا می‌کند با یک کد وضعیت پاسخ می‌دهد که نشان می‌دهد آیا درخواست موفقیت‌آمیز بوده است یا نه، چرا اینطور نبوده است.

این پاسخ ها با کدهای پاسخ HTTP ارتباط برقرار می کنند، اما به طور رسمی به آنها کدهای وضعیت HTTP می گویند.

یک سرور پنج دسته از کدهای پاسخ را ارائه می دهد. این مقاله به طور خاص در مورد یک پاسخ است، کد وضعیت صفحه 404 یافت نشد.

معنی کد پاسخ 404

همه کدهای موجود در سری پاسخ‌های 4xx به این معنی است که درخواست انجام نمی‌شود زیرا صفحه پیدا نشد.

تعریف رسمی این است:

4xx (خطای سرویس گیرنده): درخواست حاوی نحو بدی است یا قابل انجام نیست

پاسخ 404 مبهم است که آیا صفحه وب ممکن است بازگردد یا خیر.

نمونه هایی از اینکه چرا صفحه پیدا نشد 404 اتفاق می افتد

• اگر شخصی به اشتباه یک صفحه وب را حذف کند، سرور با پاسخ 404 صفحه یافت نشد پاسخ می دهد.
• اگر شخصی به یک صفحه وب که وجود ندارد پیوند دهد، سرور پاسخ می دهد که صفحه پیدا نشده است (404).

اسناد رسمی در مورد ابهام در مورد اینکه آیا یک صفحه به طور موقت یا دائم از بین رفته است روشن است:

«کد وضعیت 404 (یافت نشد) نشان می‌دهد که سرور مبدا یک نمایش فعلی برای منبع هدف پیدا نکرده است یا تمایلی به افشای وجود آن ندارد.

کد وضعیت 404 نشان نمی دهد که آیا این عدم نمایندگی موقتی یا دائمی است…”

به طور خلاصه، کد 404 صفحه یافت نشد به این معنی است که در درخواست مرورگر خطایی وجود داشت زیرا صفحه درخواستی یافت نشد.

خطای Soft 404 چیست؟

خطای soft 404 یک کد وضعیت رسمی نیست. سرور پاسخ نرم 404 را به مرورگر ارسال نمی کند زیرا چیزی به نام کد وضعیت نرم افزار 404 وجود ندارد.

نرم 404 وضعیتی را توصیف می کند که سرور یک صفحه وب را ارائه می دهد و با یک کد وضعیت 200 OK پاسخ می دهد، که نشان دهنده موفقیت در زمانی است که صفحه وب یا محتوا واقعاً وجود نداشته باشد.

چهار دلیل رایج برای Soft 404

یک صفحه وب وجود ندارد و یک سرور وضعیت OK 200 را ارسال می کند.

این نوع نرم افزار 404 زمانی اتفاق می افتد که یک صفحه گم شده باشد، اما پیکربندی سرور، صفحه گم شده را به صفحه اصلی یا یک URL سفارشی هدایت می کند.

صفحه از بین رفته است، اما ناشر کاری انجام داده است تا درخواست صفحه از دست رفته را برآورده کند.

محتوا از بین رفته یا «نازک» است.

هنگامی که محتوا به طور کامل از دست رفته است، یا مقدار بسیار کمی از آن وجود دارد (معروف به محتوای نازک)، سرور با یک کد وضعیت 200 پاسخ می دهد، که به این معنی است که درخواست صفحه با موفقیت انجام شد.

اما برای نمایه سازی صفحات وب که درخواست های موفقیت آمیز صفحه وب نیستند، موتورهای جستجو این نرم افزار را 404s می نامند.

صفحه گم شده به صفحه اصلی هدایت می شود.

برخی به اشتباه معتقدند که پاسخ خطای 404 مشکلی دارد.

بنابراین، برای متوقف کردن پاسخ‌های خطای 404، ناشر ممکن است صفحه از دست رفته را به صفحه اصلی هدایت کند، حتی اگر صفحه اصلی آن چیزی نباشد که درخواست شده است.

گوگل این درخواست های صفحه ناموفق را Soft 404s می نامد.

صفحه گم شده به یک صفحه وب سفارشی هدایت شد.

گاهی اوقات، صفحات از دست رفته به یک صفحه وب سفارشی هدایت می شوند که کد وضعیت 200 را ارائه می دهد، که باعث می شود Google این صفحات را به عنوان Soft 404 برچسب گذاری کند.

چه کسی عبارت Soft 404 را اختراع کرد؟

مفهوم 404 نرم ممکن است در یک مقاله تحقیقاتی در سال 2004 با عنوان “به سوی درک پوسیدگی وب” (PDF) نشات گرفته باشد.

صفحات گم شده ای که به طور نامناسب جایگزین شده اند برای موتورهای جستجویی که سعی در فهرست بندی صفحات واقعی دارند مشکل ایجاد می کند.

در اینجا مقاله تحقیقاتی Soft 404s را قاب بندی می کند:

طبق پروتکل HTTP وقتی درخواستی برای یک سرور برای صفحه ای که دیگر در دسترس نیست ارسال می شود، قرار است سرور یک کد خطا را برگرداند…

… در واقع بسیاری از سرورها، از جمله اکثر سرورهای معتبر، کد 404 را برمی گردانند – در عوض سرورها یک صفحه جایگزین و یک کد OK را برمی گردانند (200).

…مطالعه ما نشان می دهد که این نوع جایگزینی که “نرم 404” نامیده می شود بیش از 15 درصد از پیوندهای مرده را تشکیل می دهد.

Soft 404 به دلیل خطاهای کدنویسی

مواردی وجود دارد که صفحه گم نشده است، اما مشکلات خاصی (مانند خطاهای کدنویسی) باعث شده است تا Google آن را به عنوان صفحه گم شده طبقه بندی کند.

Soft 404 ها برای بررسی ضروری هستند زیرا می توانند کد شکسته را سیگنال دهند.

مشکلات کدنویسی معمولی:

• فایل یا شامل موجود نیست که قرار است یک صفحه وب را با محتوا پر کند.
• خطای پایگاه داده.
• جاوا اسکریپت وجود ندارد.
• خالی بودن صفحات نتایج جستجو

خطاهای 404 دو دلیل اصلی دارند

• یک خطا در پیوند، کاربران را به صفحه ای هدایت می کند که وجود ندارد.
• پیوندی به صفحه ای که قبلا وجود داشت اما ناگهان ناپدید شد.

خطای پیوند دادن

اگر علت 404 یک خطای پیوند است، باید پیوندها را برطرف کنید.

بخش دشوار این کار یافتن تمام لینک های شکسته در یک سایت است. خزیدن در سایت های پیچیده بزرگ با هزاران یا میلیون ها صفحه می تواند چالش برانگیزتر باشد.

در مواردی مانند این، ابزارهای خزنده مفید هستند.

گزینه های نرم افزار خزنده سایت بسیار زیادی برای انتخاب دارید: Xenu و Greenflare رایگان. یا نرم افزارهای پولی مانند Screaming Frog، DeepCrawl، Botify، Sitebulb، و OnCrawl، که در آن تعدادی از این نرم افزارها نسخه آزمایشی رایگان یا نسخه های رایگان اما با ویژگی محدود دارند.

صفحه ای که دیگر وجود ندارد

وقتی صفحه ای دیگر وجود ندارد، دو گزینه دارید:

• اگر حذف تصادفی بود، صفحه را بازیابی کنید.
• اگر حذف عمدی بوده است، 301 آن را به نزدیکترین صفحه مرتبط هدایت کنید.

ابتدا باید تمام خطاهای لینک دهی سایت را پیدا کنید. مشابه یافتن تمام خطاها در پیوند دادن برای یک وب سایت در مقیاس بزرگ، می توانید از ابزارهای خزیدن استفاده کنید.

با این حال، ابزارهای خزیدن ممکن است صفحات یتیم را پیدا نکنند: صفحاتی که از جایی در پیوندهای ناوبری یا از هیچ یک از صفحات پیوند داده نشده اند.

صفحات یتیم می توانند وجود داشته باشند اگر قبلاً بخشی از وب سایت بودند، پس از طراحی مجدد وب سایت، پیوندی که به این صفحه قدیمی می رود ناپدید می شود، اما پیوندهای خارجی سایر وب سایت ها ممکن است همچنان به آنها پیوند داشته باشند.

برای بررسی مجدد اینکه آیا این نوع صفحات در سایت شما وجود دارد، می توانید از ابزارهای مختلفی استفاده کنید.

نحوه شناسایی صفحات پاسخ 404

گزارش های کنسول جستجوی گوگل

گزارش Coverage 404 URL خطا را در یک وب سایت فهرست می کند.

کنسول جستجو 404 صفحه را گزارش می دهد زیرا Google در تمام صفحاتی که می تواند پیدا کند می خزد. این می تواند شامل پیوندهایی از سایت های دیگر به صفحه ای باشد که قبلاً در وب سایت شما وجود داشت.

تجزیه و تحلیل ترافیک گوگل

شما به طور پیش فرض گزارش صفحه گم شده را در گوگل آنالیتیکس پیدا نخواهید کرد. با این حال، شما می توانید آنها را به روش های مختلف ردیابی کنید.

برای یکی، می توانید یک گزارش سفارشی ایجاد کنید و صفحات را با ذکر عنوان صفحه تقسیم کنید خطای 404 – صفحه یافت نشد.

راه دیگر برای یافتن صفحات یتیم در گوگل آنالیتیکس، ایجاد گروه بندی محتوای سفارشی و اختصاص دادن تمام صفحات 404 به یک گروه محتوا است.

سایت: فرمان جستجوی اپراتور

برای یافتن خطاهای 404 نمی توان از دستور search site: استفاده کرد زیرا گوگل صفحات وب 404 یا صفحات وب نرم افزار 404 را فهرست نمی کند.

سایت گوگل: اپراتور جستجو برای یافتن صفحات وب در سایتی که حاوی یک عبارت کلیدی خاص در محتوای صفحات وب هستند مفید است.

کنسول جستجوی گوگل بهترین منبع برای شناسایی لیستی از 404 های نرم افزاری و 404 های معمولی است.

گزارش های خطای ترافیک وب سایت منبع مفیدی برای شناسایی پاسخ های خطای 404 است.

سایر ابزارهای تحقیق بک لینک

ابزارهای تحقیق بک لینک مانند Majestic، Ahrefs، Moz Open Site Explorer، Sistrix، Semrush، LinkResearchTools و CognitiveSEO نیز می توانند کمک کنند.

اکثر این ابزارها لیستی از بک لینک های لینک شده به دامنه شما را صادر می کنند. از آنجا می توانید تمام صفحات پیوند داده شده را بررسی کنید و به دنبال خطاهای 404 بگردید.

نحوه رفع خطاهای Soft 404

ابزارهای خزیدن Soft 404 را تشخیص نمی دهند زیرا خطای 404 نیست. اما می توانید از ابزارهای خزیدن برای گرفتن چیز دیگری استفاده کنید.

در اینجا چند چیز برای یافتن وجود دارد:

• محتوای نازک: برخی از ابزارهای خزنده، صفحاتی را گزارش می‌کنند که محتوای نازکی به همراه تعداد کلمات قابل مرتب‌سازی دارند. برای ارزیابی اینکه آیا صفحه دارای محتوای نازکی است یا خیر، با صفحاتی با کمترین تعداد کلمات شروع کنید.
• محتوای تکراری: برخی از ابزارهای خزیدن به اندازه کافی پیچیده هستند تا بفهمند چند درصد از صفحه محتوای قالب است. و همچنین ابزارهایی وجود دارد که به طور خاص برای یافتن محتوای تکراری داخلی مانند SiteLiner ساخته شده اند. اگر محتوای اصلی تقریباً مشابه بسیاری از صفحات دیگر است، باید به این صفحات نگاه کنید و مشخص کنید که چرا محتوای تکراری در سایت شما وجود دارد.

جدا از ابزارهای خزیدن، می‌توانید از کنسول جستجوی گوگل نیز استفاده کنید و خطاهای خزیدن را بررسی کنید تا صفحات فهرست شده در نرم‌افزار 404 را بیابید.

خزیدن کل سایت برای یافتن مشکلاتی که باعث نرم افزار 404 می شوند به شما امکان می دهد قبل از شناسایی مشکلات توسط گوگل آنها را پیدا کرده و تصحیح کنید.

پس از شناسایی این مشکلات نرم افزار 404، باید آنها را اصلاح کنید.

اغلب اوقات، راه حل ها به نظر عقل سلیم هستند. این می تواند شامل موارد ساده ای مانند گسترش صفحات با محتوای نازک یا جایگزینی محتوای تکراری با موارد جدید و منحصر به فرد باشد.

در طول این فرآیند، در اینجا چند نکته وجود دارد که باید در نظر گرفته شود:

ادغام صفحات

گاهی اوقات، محتوای نازک به دلیل خاص بودن بیش از حد با موضوع صفحه ایجاد می‌شود و چیزی برای گفتن برای شما باقی نمی‌گذارد.

ادغام چندین صفحه نازک در یک صفحه می تواند مناسب تر باشد اگر موضوعات مرتبط باشند. این نه تنها مشکلات محتوای نازک را حل می کند، بلکه می تواند مشکلات محتوای تکراری را نیز برطرف کند.

به عنوان مثال، سایت تجارت الکترونیکی که کفش در رنگ ها و اندازه های مختلف می فروشد ممکن است URL متفاوتی برای هر اندازه و ترکیب رنگ داشته باشد. این باعث می شود تعداد زیادی از صفحات با محتوای نازک و نسبتاً یکسان باقی بماند.

روش مؤثرتر این است که همه اینها را در یک صفحه قرار دهید و گزینه های موجود را برشمارید.

مشکلات فنی که باعث ایجاد محتوای تکراری می شود را بیابید

حتی با استفاده از ساده‌ترین ابزار خزیدن وب مانند Xenu (که به محتوا نگاه نمی‌کند، بلکه فقط URLها، کدهای پاسخ و برچسب‌های عنوان را بررسی می‌کند)، همچنان می‌توانید با نگاه کردن به URLها، مشکلات محتوای تکراری را پیدا کنید.

این شامل نشانی‌های اینترنتی www در مقابل غیرwww، HTTP و HTTPS، با index.html و بدون، با پارامترهای ردیابی و بدون و غیره است.

خطاهای 404 و خطاهای نرم 404

مهمترین چیزی که باید در مورد خطاهای 404 به خاطر بسپارید این است که اگر صفحات واقعاً گم شده باشند، هیچ چیز برای رفع آن وجود ندارد. اشکالی ندارد که برای درخواست‌های صفحاتی که وجود ندارند، پاسخ 404 نشان داده شود.

اما اگر صفحات وجود داشته باشند اما در یک URL دیگر، با هدایت یک پیوند شکسته به URL واقعی، بازیابی یک صفحه گم شده یا هدایت مجدد URL قدیمی به صفحه جدیدی که جایگزین آن شده است، باید آن را برطرف کرد.

یک 404 نرم همیشه نتیجه یک مشکل است که باید تشخیص داده شود و برطرف شود.

درک تفاوت بین 404s برای حفظ عملکرد وب سایت در اوج عملکرد ضروری است.

---

تصویر ویژه: پائولو بوبیتا/ژورنال موتور جستجو