معظم الخرائط التي نراجعها تفشل في التحقق. كانت خريطتنا صالحة وما زالت خاطئة

بين 5 مايو و15 أغسطس 2026، قمنا بالتحقق من خريطة XML لكل موقع أنهى تدقيقًا — 49 نطاقًا، أحدث لقطة لكل منها. 28 منها، 57.1٪، فشلت في التحقق مباشرةً: XML غير صحيح، مساحة اسم بروتوكول مفقودة، إدخالات loc مكسورة، أو قيم lastmod لا يُطلب من الزاحف احترامها.

هذا يجعل الخريطة هي أكثر ملف اكتشاف مكسور نقيّمه. وفي نفس الأسبوع الذي جمعنا فيه هذه الأرقام، وجدنا أكثر فشل خريطة تعليمي في مجموعة البيانات بأكملها على نطاقنا الخاص — داخل خريطة نجحت في كل فحص تحقق.

أكثر من نصف الخرائط تفشل قبل أن يقرأ الزاحف أول URL

تفشل خرائط الموقع على عمقين، وتفشل بترتيب واضح. التحقق — الاختبار الأسطحي — يفشل أكثر. الاختبارات الأعمق، التي تجلب عناوين URL المدرجة وتسأل ما إذا كان كل منها يستحق أن يكون في خريطة الموقع على الإطلاق، تفشل أقل تواترًا لكنها تكلف أكثر عندما تفشل.

المنهجية: أحدث لقطة تدقيق مكتملة لكل نطاق من مجموعتنا الحالية، مايو 5 – August 15, 2026، مجهولة الهوية. المواقع المدققة 49؛ المقام لكل فحص يختلف بين 19 و 49 لأن الاختبارات الأعمق لا تنطبق إلا حيث أمكن فعليًا جلب خريطة الموقع وعناوين URL المدرجة فيها. العينة مختارة ذاتيًا — مالكو المواقع الذين أجروا تدقيقًا — وتميل إلى الصغر إلى المتوسط. عامل التقييم كاتجاه.

الفشل في التحقق من التفاصيل التي لا يختبرها معظم المولدات

بروتوكول خريطة الموقع صغير، وهذا بالضبط سبب تجنب فشله. لا يطلب البروتوكول إلا القليل: يُحلل المستند كـ XML، العنصر الجذري هو urlset أو sitemapindex ويعلن مساحة اسم خريطة الموقع، كل إدخال يحمل loc غير فارغ واحد هو مسار مطلق HTTP أو HTTPS URL على نفس الموقع كخريطة الموقع، وأي lastmod هو تاريخ W3C صالح أو تاريخ مع توقيت.

تتجمع الفشل على قواعد 2 الأخيرة. عادةً ما تعني إدخالات loc عبر المواقع اسم مضيف تجريبي أو أصل CDN تسرب إلى الإنتاج. و lastmod هو البطل الصامت للقيم غير الصالحة: يحب المولدون كتابة طوابع زمنية لقاعدة البيانات مثل 2026-07-14 19:10:31 — مسافة بدلاً من T، لا توقيت — وهو ليس تاريخًا W3C. Google's وثائق خريطة الموقع يقول إنه يستخدم lastmod عندما تكون القيم متسقة ومؤكدة بدقة؛ تنسيق لا يمكنه تحليله يتخلى عن تلك الإشارة في كل إدخال. تفشل الملفات المقصوصة أيضًا: خريطة موقع تُقطع أثناء النقل ليست خريطة موقع أصغر، إنها خريطة موقع مكسورة.

كل فشل من هذا النوع هو إصلاح طبقة التكوين، نفس النمط الذي وجدناه في المواقع التي تفشل في 10 فحوصات أكثر؛ الأخطاء تحت أي شيء يعرضه المتصفح، لذلك لا يراها أحد بدون جهاز يراقب.

يمكن لخريطة الموقع الصالحة أن تُرسل الزواحف إلى صفحات ميتة

تُعامل الاختبارات الأعمق خريطة الموقع كمجموعة من الادعاءات وتختبر كل واحد منها. يصرح إدخال خريطة الموقع: هذا URL حي، قابل للفهرسة، ويستحق وقت الزاحف. ويكشف جلب عناوين URL المدرجة عن 3 تناقضات:

• URLs غير مفهرسة — 33.3٪ من المواقع المقيمة. يقول إدخال خريطة الموقع "فهرس هذا"؛ توجيه noindex للروبوتات على نفس URL يقول "لا تفهرس". يحل الزواحف التناقض في الاتجاه الذي لا تريد، وتدهور الإشارة المختلطة ثقة في بقية الملف. 1 في 3 من المواقع التي يمكننا جلب أعضاء خريطة الموقع كان لديها على الأقل 1 من هذه التناقضات حية.
• إعادة توجيه URLs — 26.3%. الإدخالات التي 301 أو 302 في مكان آخر. يجب أن تُدرج خريطة الموقع URLs النهائية؛ كل إعادة توجيه فيها هي ادعاء قديم ورحلة إضافية لكل عملية زحف.
• Soft 404s — 21.7%. الصفحات التي تجيب 200 لكنها ليست هناك فعليًا، مثل رسالة "غير موجود" تُقدَّم بحالة نجاح، أو قالب فارغ. كل واحدة منها تحرق ميزانية الزحف وتعلم الزواحف أن خريطة موقعك تُبالغ.

هذه المعدلات أقل من رقم التحقق، لكن الترتيب ينعكس عندما تقيس العواقب. تكلفة غير صالحة lastmod تكلفك تلميح جدولة. خريطة موقع مليئة بالتناقضات وSoft 404s تكلفك ثقة الزاحف في الملف بأكمله.

اجتازت خريطة موقعنا الخاصة التحقق أثناء إخفاء كل مقال

في 15 أغسطس 2026، اكتشفنا أن خريطة موقع seoreport.dev كانت تُستبعد بصمت كل مقال URL الذي نشرناه من قبل.

السبب كان تقوية التفويض التي نشرناها في أغسطس 1. نقل مسارات مكوّن API إلى رفض افتراضي — الوضع الأمني الصحيح — لكن قائمة السماح سمحت فقط بسطح داخلي واحد. بدأت نقاط نهاية المقالات العامة في الإجابة 401 على المتصلين المجهولين، بما في ذلك مولد خريطة موقعنا وصفحة مقالاتنا الخاصة. التقط المولد الفشل، وسجل لا شيء، وأصدر خريطة موقع صالحة تمامًا تحتوي فقط على الصفحات الثابتة. عرضت صفحة المقالات قائمة فارغة. كل مقال منشور سجل 0 مشاهدات في النافذة.

لم يثير أي شيء قلقًا لأن كل شيء استمر في النجاح. تم تحليل خريطة الموقع، وأعلنت نطاقها، ودرجت URLs ذات الحالة 200 الحقيقية مع قيم lastmod مُنسقة جيدًا. وفقًا لمعيار التحقق الذي 57.1% من المواقع المدققة يفشل، كان لدينا مثالًا ممتازًا. كما كان مفقودًا السبب الكامل لوجوده. كان الفشل غير مرئي بالضبط لأن الملف ظل صالحًا نحويًا — fallback الذي يتدهور بصمت إلى إخراج معقول أسوأ من تعطل، لأن التعطل يُصلح في نفس اليوم.

أصلحناه في نفس اليوم، في 4 حركات. الآن يتيح حد التفويض قراءات المقال المنشور صراحةً — قائمة، حسب السلاگ، عدّاد المشاهدات — محدودة بالطريقة، بينما البُنى والاختلاطات تبقى رفض افتراضي. الآن يلتقط مولد خريطة الموقع وجالدي المقالات فشل السطح العام على مستوى الخطأ بدلاً من التدهور. أبعاد فحص الصحة تستكشف مسار المقال المجهول باستمرار، لذا فإن هذا النوع من صفحات الانقطاع يُعامل كعامل بدلاً من انتظار شخص يلاحظ صفحة فارغة. وأعدنا تقديم مجموعة URL الكاملة عبر IndexNow في نفس اليوم — مما أظهر درسًا إضافيًا: ملف المفتاح IndexNow المستضاف تحت /.well-known/ يمكنه فقط تأكيد URLs تحت ذلك المسار، لذا ضع المفتاح في جذر الموقع أو كل تقديم على مستوى الموقع سيعود بـ 422.

عقد النظافة: خريطة الموقع هي مجموعة من الوعود حول كل URL فيها

التحقق هو الأرضية. القيم المعيارية التي يجب الاحتفاظ بها هي أن كل إدخال يحافظ على 4 ووعود، بالإضافة إلى 1 وعد حول الملف نفسه:

1. حيّ: يجيب URL بـ 200 مباشرةً. لا 3xx، لا 404، لا صفحة تحدٍ. قائمة بالـ URLs النهائية فقط. التحقق ميكانيكيًا:

  | xargs -n1 -P4 curl -s -o /dev/null -w '%{http_code} %{url_effective}
' \
  | grep -v '^200'

أي إخراج هو انتهاك.

2. قابل للترتيب: لا توجد توجيهات متضاربة. لا <meta name="robots" content="noindex">, no X-Robots-Tag: noindex رأس، لا قاعدة robots.txt تمنع المسار. إذا كان يجب عدم فهرسة URL، فإن الإصلاح هو إزالته من خريطة الموقع، وعدم إدراجه مع noindex.

3. تقنين: الصفحة تقنن نفسها. إدخال يشير rel=canonical إلى مكان آخر يخبر الزواحف بترتيب URL مختلف عن الذي أرسلته. قائمة بالتقنين، أزل النسخة المتغيرة.

4. صادق lastmod. تنسيق W3C فقط — 2026-08-24 أو 2026-08-24T08:00:00-05:00 — مدفوع بالتغييرات الحقيقية للمحتوى. خط أنابيب البناء الذي يطبع كل إدخال مع وقت النشر يعلن أن lastmod لا يعني شيئًا، وتتعلم الزواحف أن تعاملها هكذا.

5. مكتمل: يحتوي الملف على ما يجب أن يحتوي عليه، ويقوم شخص ما بالتحقق. هذه هي الوعد الذي كسرته حادثتنا الخاصة. XML الصلاحية لا تقول شيئًا عن التركيب، لذا راقب التركيب مباشرةً — أكد أن كل فئة URL المتوقعة موجودة، وأبلغ عندما تنهار فئة إلى 0:

count=$(curl -s https://example.com/sitemap.xml | grep -c '/articles/')
[ "$count" -ge 1 ] || echo "ALERT: sitemap lost its article URLs"

واجعل المولد صادقًا: عندما يفشل مصدر بيانات، سجِّل بصوت عالٍ وفشل البناء. يجب ألا يتحول مُنشئ خريطة الموقع إلى ملف أصغر غير صالح.

يختبر تشخيص SEOReport المدفوع الوعود الـ 4 الأولى في كل تشغيل ويُظهر أي الإدخالات تكسر أي وعد، مع الروابط الدقيقة. الخامس يتطلب معرفة ما يجب أن يحتويه خريطة الموقع، وهو ما تعرفه أنت فقط؛ الطريقة المنهجية لدمج ذلك في روتين قابل للتكرار مغطاة في كيفية تشغيل تدقيق SEO منهجي.

خريطة الموقع التي تتحقق ليست خريطة موقع صحيحة. 57.1% المواقع لم تصل إلى الأرض، والأرض هي فترة بعد الظهر من الإصلاحات. السقف — ملف حيث كل إدخال حي، قابل للفهرسة، معياري، موقّع بصدق، ومكتمل — هو ما يجعل الزواحف تعامل خريطة موقعك كمصدر للحقائق. نحتفظ بالمعاييرتين تحت فحص مستمر الآن، لأننا تعلمنا الفرق في نطاقنا الخاص، بالطريقة الصعبة، مع أن المُتحقق قال إن كل شيء كان على ما يرام.