تعارضات القابلية للفهرسة: عندما تخبر موقعك الخاص جوجل بالابتعاد

كل تدقيق نقوم به يطرح سؤالًا مباشرًا حول الصفحات التي يعلن الموقع عنها كأهمية — الصفحة الرئيسية بالإضافة إلى الروابط التي يدرجها خريطة الموقع الخاصة به: هل يمكن لمحركات البحث فهرستها كما هو معلن? بين مايو 5 و August 15, 2026، فشل 21 من 49 المواقع المدققة في ذلك السؤال. هذا هو 42.9% من العينة التي تخبر الزواحف بتخطي الصفحات التي بذل شخص ما جهدًا لنشرها وربطها وقوائمها. تشترك الفشل في توقيع واحد: كل موقع من هذه المواقع يعمل بشكل مثالي للإنسان. تُعرض الصفحات، تُحل الروابط، لا شيء في المتصفح يشير إلى أن توجيهًا تحتها يبعد محركات البحث. تعارضات القابلية للفهرسة هي أكثر الفئات التي يسببها نفسه في بياناتنا — لم يسببها منافس، لم يُحدثها تحديث خوارزمية، ولا أحد في الفريق يمكنه رؤيتها دون جلب الموقع بالطريقة التي يفعلها الروبوت.

مجموعة البيانات

المنهجية: أحدث لقطة تدقيق مكتملة لكل مجال من مجموعتنا الحالية، مايو 5 – August 15, 2026 — 49 مواقع مدققة، مجهولة الهوية. المقامات لكل فحص تختلف من 46 إلى 49 لأن الفحص يعمل فقط عندما توجد مدخلاته — موقع بدون خريطة موقع قابلة للوصول لا ينتج قرارات صفحة خريطة الموقع. العينة مختارة ذاتيًا — أصحاب نفذوا تدقيقًا — وتميل إلى الصغير إلى المتوسط، لذا اعتبر المعدلات اتجاهية لهذا القطاع.

إعادة التوجيهات والمرجعيات الأساسية تسبب فشلًا أكثر من noindex

الفجوة بين الصفوف الأولى 2 هي الاكتشاف. يفشل فحص القابلية للفهرسة صفحة لأي من 4 أسباب: محظور بواسطة robots.txt، يحمل توجيه noindex، يوجه إلى URL مختلف، أو يعلن عن مرجع أساسي يشير إلى مكان آخر. فشل فحص noindex المحدد 7 مواقع — ما يعني أن معظم 21 المواقع الفاشلة، تحمل الصفحات غير القابلة للفهرسة لا تحمل noindex على الإطلاق. يوجهون بعيدًا عن URL الذي وعدت به خريطة الموقع، أو يقولون Google أن مرجعهم الأساسي موجود في عنوان مختلف. هذا التوزيع مهم لأن الفرق تبحث عن الجاني الخطأ. الكلمة التي يعرفها الجميع هي noindex، لذا هذا ما يتم البحث عنه — ويعود نظيفًا. الصراع الفعلي عادةً ما يكون هيكليًا: خريطة موقع تم إنشاؤها من قاعدة بيانات CMS بينما تم ترحيل عناوين URL الحية إلى مخطط مسار جديد، أو وسم مرجعي تم قالبه إلى نسخة URL لا تخدم أي صفحة فعليًا. الفحص حذر بشأن ما يُحسب. يعتذر عن إعادة التوجيه التي هي بنية تحتية صحيحة — نطاق عاري ينتقل إلى نسخة www الخاصة به — ويتخطى مسارات الاستخدام مثل /login و /signup التي يجب أن تحمل noindex. فشل 21 ما يبقى بعد إزالة الحالات السلبية.

أنماط الصراع 4 في البيانات

noindex المرحلي الذي تم شحنه. قائمة 7 مواقع صفحات في خريطة الموقع التي تحمل توجيه noindex — في وسم robots meta أو رأس X-Robots-Tag. هذا هو الباقي الكلاسيكي للإطلاق: التوجيه الذي أخفى البيئة المرحلية بشكل صحيح ينتقل إلى الإنتاج داخل قالب، إعداد مكون إضافي، أو تبديل منصة. خانة WordPress "Discourage search engines from indexing this site" هي المثال الكلاسيكي — إعداد واحد، noindex على مستوى الموقع، لا شيء مختلف مرئيًا. robots.txt يصرخ فوق كل شيء. مواقع 3 تُخدم robots.txt مع Disallow: / لجميع الروبوتات — علامة الابتعاد على مستوى الموقع — و5 تفشل في فحص التناسق الأوسع، حيث يتعارض حظر robots.txt أو noindex الصفحة الرئيسية مع النية الظاهرة للترتيب. الفخ الدقيق في هذا النمط: robots.txt و noindex يؤديان وظائف متعاكسة، ودمجهما يلغي الأكثر قوة. صفحة محظورة بواسطة robots.txt لا يمكن الزحف إليها، لذا لا يُقرأ noindex الموضوعة عليها — وهذا هو سبب وصول عناوين URL إلى حالة "مفهرسة، رغم حظر robots.txt"، موجودة في النتائج كرابط عاري Google كان ممنوعًا من الاسترجاع. تناقضات المرجعية الأساسية. وسم مرجعي يشير إلى هدف يحمل noindex يمنح Google تعليمات 2 لا يمكن تنفيذها معًا: دمج الإشارات في هذه الصفحة، والحفاظ على هذه الصفحة خارج الفهرس. تحل محركنا كل هدف مرجعي وتفشل التدقيق عندما يكون الهدف محظورًا، يوجه، أو يرفض أن يعلن نفسه مرجعًا أساسيًا. يظهر نفس التناقض داخل صفحة واحدة عندما يحمل كل من noindex ومرجع أساسي إلى مكان آخر — يطلب Google نقل السلطة عبر صفحة أخبرها بالنسى. خريطة الموقع التي تروج لما تحظره التوجيهات. خريطة الموقع هي ادعاء قابل للقراءة آليًا أن كل URL فيها يستحق الفهرسة. إدراج URL الذي يحظره robots.txt أو توجيه noindex يجعل الموقع يتجادل مع نفسه، وتكلفة الجدل هي ميزانية الزحف في كل دورة. قمنا بقياس هذا النمط بمفرده في تقرير نظافة خريطة الموقع لدينا [/articles/xml-sitemap-hygiene-audit-data].

حلّ النزاعات بالترتيب التالي: الهدف، ثم آلية واحدة، ثم الدليل

لا تزال نزاعات القابلية للفهرسة قائمة لأن الإصلاحات تُطبّق إشارةً إلى إشارة — يقوم شخص ما بإصلاح noindex هنا، ويعدل robots.txt هناك — دون أن يقرر أحد ما هو الغرض الفعلي لكل فئة صفحة. الإصلاح الدائم يعمل في اتجاه واحد.

المحتوى القابل للتصنيف، المتغيرات المكررة، صفحات الأدوات الخاصة، ومساحات المعلمات اللانهائية كل منها يحصل على هدف واحد — قبل أن يلمس أي شخص ملف التكوين. 1. حدد الهدف لكل فئة صفحة. 2. عبّر عن كل هدف عبر آلية واحدة.

• تصنيف: مدرج في خريطة الموقع، canonical يشير إلى نفسه، بدون توجيهات robots على الإطلاق.
• توحيد المكررات: <link rel="canonical" href="https://example.com/primary/" /> على المتغير، الذي يظل قابلًا للزحف ويترك خريطة الموقع. الـ canonicals هي إشارة — توثيق Google الخاص به يقول إنه يمكنه اختيار canonical مختلف عندما تتعارض الإشارات الأخرى، وهذا بالضبط السبب في أن الهدف يجب أن يكون نظيفًا: قابل للفهرسة، 200، self-canonical.
• ابق خارج النتائج: علامة meta robots noindex في الصفحة، أو رأس الاستجابة X-Robots-Tag: noindex للملفات PDF وغيرها من الاستجابات غير HTML. يجب أن تظل الصفحة قابلة للزحف — توجيه خلف كتلة robots.txt هو توجيه لا وجود له.
• حفظ ميزانية الزحف: Disallow: /search/ تحت User-agent: * في robots.txt، مخصص للمساحات ذات عناوين URL غير محدودة. يتحكم robots.txt في الزحف، لا في الفهرسة — لا يزيل أي شيء قد تم فهرسته بالفعل.

لكل منصة، نية noindex هي سطر واحد: robots: { index: false } في تصدير بيانات التعريف لمسار Next.js، زر "رؤية محرك البحث" في WordPress — يتم التحقق منه عمدًا لكل بيئة، لا يُرث من مرحلة الاختبار — أو add_header X-Robots-Tag "noindex" always; محدد في كتلة موقع في nginx. لا يثبت المتصفح أي شيء هنا؛ احصل على الطريقة التي يتبعها الزواحف: 3. تحقق كروبوت، لكل فئة صفحة.

curl -sI -A "Googlebot" https://example.com/page/ | grep -i "x-robots-tag\|location"
curl -s -A "Googlebot" https://example.com/page/ | grep -i "robots\|canonical"

ممثل URL لكل فئة صفحة كافٍ، يتم التحقق منه مقابل النية التي قررتها في الخطوة 1. فحص URL في Search Console يعطي الرأي الثاني الرسمي، بما في ذلك أي canonical Google تم اختياره فعليًا. تدير مراجعتنا الحلقة الكاملة لكل تقرير — robots.txt مقابل عضوية خريطة الموقع، التعليمات مقابل canonical، أهداف canonical المحلولة والمتحققة — ويُظهر التقرير المجاني كل زوج متضارب مع الصفحة التي وجدته عليها. معدل فشل 42.9% يضع صراعات الفهرسة بين أكثر النتائج الخطيرة شيوعًا في بياناتنا، في نفس المستوى مع فجوات الرأس من تصنيف فحوصاتنا الأكثر فشلًا — مع عواقب أشد، لأن الصفحة المحظورة لا تكسب شيئًا بغض النظر عن جودتها. المواقع التي تنجح هي تلك التي تم فيها اتخاذ نية الفهرسة مرة واحدة، مكتوبة في آلية واحدة لكل فئة صفحة، ومتحققة بالطريقة التي سيقوم بها الزاحف. كل شيء حول فئة الفشل هذه تحت سيطرة مالك الموقع — وهو ما يجعلها أكثر فاعلية 42.9% في مجموعة البيانات.