تعارضات القابلية للفهرسة: عندما تخبر موقعك الخاص جوجل بالابتعاد

كل مراجعة نقوم بها تسأل سؤالًا مباشرًا حول الصفحات التي يعلن الموقع عنها كأهمية — الصفحة الرئيسية بالإضافة إلى عناوين URL التي تُدرجها خريطة الموقع الخاصة به: هل يمكن لمحركات البحث فهرستها كما أعلنها? بين مايو 5 وAugust 15, 2026، فشل 21 من مواقع 49 التي تم مراجعتها في ذلك السؤال. هذا هو 42.9% من العينة التي تخبر الزواحف بتخطي الصفحات التي نشرها شخص ما، وربطها، وقائمة بها.

تشترك الفشل في توقيع: كل موقع من هذه المواقع يعمل تمامًا للإنسان. تُعرض الصفحات، تُحل الروابط، لا شيء في المتصفح يشير إلى أن توجيهًا تحتها يرسل محركات البحث بعيدًا. تعارضات القابلية للفهرسة هي أكثر الفئات التي يسببها نفسه في بياناتنا — لم يسببها منافس، لم يُحدثها تحديث خوارزمية، ولا أحد في الفريق يمكنه رؤيتها دون جلب الموقع بالطريقة التي يفعلها الروبوت.

مجموعة البيانات

المنهجية: أحدث لقطة تدقيق مكتملة لكل مجال من مجموعتنا الحالية، مايو 5 – August 15, 2026 — 49 مواقع تدقيق، مجهولة الهوية. المقامات لكل فحص تختلف من 46 إلى 49 لأن الفحص يعمل فقط عندما توجد مدخلاته — موقع بدون خريطة موقع قابلة للوصول لا ينتج قرارات صفحة خريطة الموقع. العينة مختارة ذاتيًا — أصحاب الذين أجروا تدقيقًا — وتميل إلى الصغر إلى المتوسط، لذا اعتبر المعدلات اتجاهية لهذا القطاع.

إعادة التوجيهات والكانونيكالز تسبب فشلًا أكثر من noindex

الفجوة بين الصفوف الأولى 2 هي الاكتشاف. لا يمكن فهرسة الصفحة كما أُعلن عنها لأي من 4 أسباب: أنها محظورة بواسطة robots.txt، أو تحمل توجيه noindex، أو تعيد التوجيه إلى URL مختلف، أو تعلن كانونيكال يشير إلى مكان آخر. 7 مواقع فقط كانت لديها مشكلة noindex — ما يعني أن معظم 21 المواقع الفاشلة، الصفحات غير القابلة للفهرسة لا تحمل noindex على الإطلاق. يوجهون بعيدًا عن URL التي وعدت خريطة الموقع، أو يقولون Google أن كانونيكالهم موجود في عنوان مختلف.

هذا التوزيع مهم لأن الفرق تبحث عن الجاني الخطأ. الكلمة التي يعرفها الجميع هي noindex، لذا يتم البحث عنها — وتعود نظيفة. النزاع الفعلي غالبًا ما يكون هيكليًا: خريطة موقع تم إنشاؤها من قاعدة بيانات CMS بينما تم ترحيل عناوين URL الحية إلى مخطط مسار جديد، أو وسم كانونيكال مُقوَّم إلى نسخة URL لا تخدم أي صفحة فعليًا.

لا تُحتسب الحالات غير الضارة: إعادة التوجيه التي تمثل بنية تحتية صحيحة، مثل انتقال نطاق مجرد إلى نسخة www الخاصة به، وصفحات الأدوات التي يجب أن تحمل noindex. الإخفاقات الـ 21 هي ما يتبقى بعد استبعاد تلك الحالات.

أنماط النزاع 4 في البيانات

noindex المرحلي الذي تم شحنه. 7 مواقع تُدرج صفحات في خريطة الموقع تحمل توجيه noindex — في وسم meta robots أو رأس X-Robots-Tag للرد. هذا هو الباقي الكلاسيكي للإطلاق: التوجيه الذي أخفى بيئة المرحلة بشكل صحيح ينتقل إلى الإنتاج داخل قالب، إعداد مكون إضافي، أو تبديل منصة. خانة "Discourage search engines from indexing this site" في WordPress هي المثال الكانوني — إعداد واحد، noindex على مستوى الموقع، لا شيء مختلف مرئيًا.

robots.txt يصرخ فوق كل شيء. 3 مواقع تُقدم robots.txt مع Disallow: / لجميع الروبوتات — علامة الابتعاد على مستوى الموقع — و5 تفشل في فحص الاتساق الأوسع، حيث يتعارض حظر robots.txt أو noindex الصفحة الرئيسية مع النية الظاهرة للترتيب. الفخ الدقيق في هذا النمط: robots.txt و noindex يؤديان وظائف متعاكسة، ودمجهما يلغي الأكثر قوة. صفحة محظورة بواسطة robots.txt لا يمكن الزحف إليها، لذا لا يُقرأ noindex الموضوعة عليها — وهذا هو سبب وصول عناوين URL إلى حالة "مفهرسة، رغم حظر robots.txt"، موجودة في النتائج كرابط عاري Google كان ممنوعًا من الاسترجاع.

تناقضات الكانونيكال. وسم كانونيكال يشير إلى هدف يحمل noindex يمنح Google تعليمات 2 لا يمكن تنفيذها معًا: دمج الإشارات في هذه الصفحة، والحفاظ على هذه الصفحة خارج الفهرس. لذلك يجب أن يكون الهدف سليمًا: الكانونيكال الذي يصل إلى صفحة عليها noindex، أو إلى إعادة توجيه، أو إلى صفحة تسمّي كانونيكالًا مختلفًا خاصًا بها، هو تناقض. يظهر نفس التناقض داخل صفحة واحدة عندما يحمل كل من noindex وكانونيكال إلى مكان آخر — يطلب Google نقل السلطة عبر صفحة أخبرها بالنسى.

خريطة الموقع التي تروج لما تحظره التوجيهات. خريطة الموقع هي ادعاء قابل للقراءة آليًا أن كل URL فيها يستحق الفهرسة. إدراج URL الذي يحظر robots.txt أو توجيه noindexes يجعل الموقع يتجادل مع نفسه، وتكلفة الجدل تكبد ميزانية الزحف في كل دورة. قمنا بقياس هذا النمط بمفرده في تقارير نظافة خريطة الموقع.

حل النزاعات بهذا الترتيب: النية، ثم آلية واحدة، ثم الدليل

تستمر نزاعات القابلية للفهرسة لأن الإصلاحات تُطبَّق إشارةً بإشارة — يَصَحِّح أحدهم noindex هنا، يحرِّر robots.txt هناك — دون أن يقرَّر أحد ما هو الغرض الفعلي لكل فئة صفحة. الإصلاح الدائم يعمل في اتجاه واحد.

1. قرر النية لكل فئة صفحة. المحتوى القابل للتصنيف، المتغيرات المكررة، صفحات الأدوات الخاصة، ومساحات المعلمات اللانهائية كل منها يحصل على نية واحدة — قبل أن يلمس أحد ملف التكوين.

2. عبّر عن كل نية عبر آلية واحدة.

• تصنيف: مدرج في خريطة الموقع، الكانوني يشير إلى نفسه، لا توجد توجيهات robots على الإطلاق.
• توحيد المكررات: <link rel="canonical" href="https://example.com/primary/" /> على المتغير، الذي يبقى قابلًا للزحف ويترك خريطة الموقع. الكانونيات هي إشارة — توثيق Google الخاص به يقول إنه يمكنه اختيار كانوني مختلف عندما تتعارض الإشارات الأخرى، وهذا بالضبط السبب في أن الهدف يجب أن يكون نظيفًا: قابل للفهرسة، 200، ذاتي الكانوني.
• ابق خارج النتائج: علامة meta robots noindex في الصفحة، أو رأس الاستجابة X-Robots-Tag: noindex للملفات PDF وغيرها من الاستجابات غير HTML. يجب أن تبقى الصفحة قابلة للزحف — توجيه خلف حظر robots.txt هو توجيه غير موجود.
• حفظ ميزانية الزحف: Disallow: /search/ تحت User-agent: * في robots.txt، مخصص للمساحات ذات عناوين URL غير المحدودة. يتحكم robots.txt في الزحف، ولا يُؤَخِّر الفهرسة — لا يزيل أي شيء مُفهرس بالفعل.

لكل منصة، نية noindex هي سطر واحد: robots: { index: false } في تصدير بيانات التعريف لصفحة Next.js، زر "رؤية محرك البحث" في WordPress — مُفعل عمدًا لكل بيئة، لا يُورث من مرحلة الاختبار — أو add_header X-Robots-Tag "noindex" always; محدد في كتلة موقع في nginx.

3. تحقق كروبوت، لكل فئة صفحة. لا يثبت المتصفح أي شيء هنا؛ احصل على الطريقة التي يتبعها الزواحف:

curl -sI -A "Googlebot" https://example.com/page/ | grep -i "x-robots-tag\|location"
curl -s -A "Googlebot" https://example.com/page/ | grep -i "robots\|canonical"

ممثل URL لكل فئة صفحة كافٍ، يُتحقق مقابل النية التي قررتها في الخطوة 1. فحص URL في Search Console يعطي الرأي الثاني الرسمي، بما في ذلك أي canonical Google تم اختياره فعليًا. يُشغّل تشخيص SEOReport المدفوع الحلقة الكاملة في كل تقرير ويسرد كل زوج متعارض مع الصفحة التي وُجد فيها.

معدل الفشل 42.9% يضع صراعات الفهرسة بين أكثر النتائج الخطيرة شيوعًا في بياناتنا، في نفس المستوى مع فجوات الرأس من our most-failed checks ranking — مع عاقبة أشد، لأن صفحة محظورة لا تكسب شيئًا بغض النظر عن جودتها. المواقع التي تنجح هي تلك التي تم فيها اتخاذ نية الفهرسة مرة واحدة، مكتوبة في آلية واحدة لكل فئة صفحة، ومُتحققة بالطريقة التي سيقوم بها الزاحف. كل شيء حول فئة الفشل هذه تحت سيطرة مالك الموقع — وهو ما يجعلها أكثر فئة قابلة للإصلاح 42.9% في مجموعة البيانات.