تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt: المعنى والحل

تعني حالة "تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt" (وفي واجهة Search Console الإنجليزية: Indexed, though blocked by robots.txt) أن Google أدرج عنوان URL في فهرسه دون أن يقرأ الصفحة، لأن ملف robots.txt لديك يمنع الزحف إليها بينما لا تزال روابط تشير إليها. وتظهر النتيجة عادةً بوصف قليل أو بلا وصف. وكونها مشكلة أم لا يتوقف على قرار واحد: إن كان ينبغي للصفحة أن تظهر في الترتيب، فأزِل الحظر؛ وإن كان ينبغي أن تبقى خارج البحث، فملف robots.txt هو الأداة الخطأ، والحل أن تسمح بالزحف وتستخدم noindex.

وفي واجهة Search Console الألمانية تظهر الحالة نفسها بعبارة "Indexiert, obwohl durch robots.txt-Datei blockiert".

ما معنى هذه الحالة بحسب Google

تصف وثائق Google عن تقرير "فهرسة الصفحات" (راجعناها في أكتوبر 2026) الحالة في سطر واحد: فُهرست الصفحة رغم أن ملف robots.txt في الموقع يحظرها. وتضيف أن Google يحترم robots.txt دائمًا، لكن ذلك لا يمنع الفهرسة بالضرورة إذا ربط شخص آخر إلى الصفحة: فـ Google لا يطلب الصفحة، ويفهرس عنوان URL مستخدمًا معلومات من الصفحة التي تربط إليه.

ويضع Google هذه الحالة ضمن التحذيرات لا الأخطاء، أي ضمن مجموعة "تحذير". وتذكر وثائقه أن التحذيرات لا تمنع فهرسة الصفحة، لكنها تقلل قدرة Google على فهمها وفهرستها. فالعنوان موجود في الفهرس، أما الغائب فهو كل ما كان Google سيعرفه لو جلبه: العنوان كما كتبته، والنص، والبيانات المنظَّمة، وأي علامة meta للروبوتات.

وتذكر الوثائق أيضًا أن أي مقتطف لهذه الصفحة سيكون على الأرجح محدودًا جدًا. ومقدمة Google عن robots.txt أكثر صراحة: قد يظل العنوان المحظور يظهر في النتائج، لكن النتيجة لن تحمل وصفًا.

كيف تنتهي صفحة محظورة مفهرسةً

ملف robots.txt يتحكم في الزحف، لا في الفهرسة. فمقدمة Google نفسها عن robots.txt تقول إنه في الأساس وسيلة لتجنّب إثقال الموقع بالطلبات، وليس آلية لإبقاء صفحة خارج Google.

sequenceDiagram
    participant L as رابط إلى العنوان
    participant G as Googlebot
    participant R as robots.txt
    participant I as فهرس Google
    L->>G: اكتشاف عنوان URL
    G->>R: هل هذا المسار مسموح؟
    R-->>G: قاعدة Disallow تنطبق
    Note over G: لا تُجلب الصفحة أبدًا، فتبقى أي علامة noindex غير مقروءة
    G->>I: فهرسة العنوان من إشارات الروابط
    I-->>I: إدراجه بوصف قليل أو بلا وصف

ولهذا ينقلب الإعداد حسن النية على صاحبه. يريد فريق إخراج صفحة من البحث، فيضيف علامة noindex، ثم يحظر المسار أيضًا في robots.txt من باب الحرص. فيمنع الحظر Google من جلب الصفحة، فلا تُقرأ علامة noindex أبدًا. وتنص وثائق Google عن حظر الفهرسة على ذلك صراحةً: لكي تعمل noindex، يجب ألا يحظر ملف robots.txt الصفحة.

الأسباب الـ 5 المعتادة

1. حظر مقصود لصفحات لا تزال مرتبطة. نتائج البحث الداخلي، وعناوين القوائم المفلترة والمرتبة، وصفحات السلة والحساب، ومسارات الإدارة، تُحظر عادةً. وحين يربط إليها التنقل في موقعك أو خريطة موقعك أو موقع آخر، يعرف Google بوجود هذه العناوين وقد يفهرس بعضها. فـ WordPress مثلًا يولّد ملف robots.txt يحظر مسار الإدارة حين لا يملك الموقع ملف robots.txt خاصًا به، فقد يظهر عنوان إدارة حظي برابط بهذه الحالة.

2. noindex وDisallow على الصفحة نفسها. هذا هو الإعداد الموصوف أعلاه: تعليمتان (2) على عنوان URL واحد (1). وهو ينتج بالضبط ما أُريد منعه.

3. قاعدة أوسع مما قُصد. تُطابق مسارات robots.txt من بداية مسار العنوان، والمطابقة حساسة لحالة الأحرف. فـ Disallow: /shop تحظر /shop/، لكنها تحظر أيضًا /shop-guide/ و/shopping-tips/. وقد تلتقط بادئة قصيرة كُتبت لقسم ما صفحاتِ محتوى في قسم آخر.

4. خريطة الموقع تُدرج عناوين محظورة. تخبر خريطة الموقع Google بأن عنوانًا موجود ومهم، ثم يمنع robots.txt الزحف إليه. ففي 29 موقعًا خارجيًا قُدّمت لتدقيق SEOReport وجلبنا صفحات خرائطها بين مايو وأكتوبر 2026، أدرج موقعان (2، أي 7%) في خريطتيهما عناوين يحظرها ملف robots.txt الخاص بهما. وفي المواقع الـ 29 نفسها، كان لدى 8 مواقع (28%) عنوان واحد على الأقل في خريطة الموقع يعيد التوجيه، أو يحمل علامة noindex، أو يحظره ملف robots.txt.

5. حظر شامل للموقع بعد أن فُهرس. ملف robots.txt من بيئة التجهيز يحمل Disallow: / ونُسخ إلى الإنتاج لا يُزيل الصفحات التي يعرفها Google. فقد تبقى مدرجة بوصف قليل أو بلا وصف، لأن Google لم يعد يستطيع قراءتها.

هل هي مشكلة؟ أصلِح، أو أصلِح بطريقة أخرى، أو اترك

تتوقف الإجابة على الغرض من الصفحة، لا على الحالة نفسها.

والصف الثالث موازنة حقيقية. فإن كنت تحظر ملايين عناوين المعلَمات لحماية خادمك، فإن إلغاء حظرها ليقرأ Google علامة noindex يجلب الزحف الذي كنت تتجنبه. وعدد قليل من هذه العناوين في هذا التحذير، بلا مرات ظهور، مقبول عادةً. أما صفحة المحتوى التي في هذه الحالة فتحتاج دائمًا إلى إصلاح: فـ Google لم يقرأها، وهي تظهر بلا وصف يستحق النقر.

flowchart TD
    A["تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt"] --> B{"هل ينبغي أن تظهر هذه الصفحة في البحث؟"}
    B -->|نعم| C["اعثر على قاعدة الحظر"]
    C --> D["افحص الصفحة بحثًا عن noindex مخفية"]
    D --> E["أزِل القاعدة أو ضيّقها"]
    B -->|لا| F{"هل الحظر موجود للحد من عبء الزحف؟"}
    F -->|لا| G["اسمح بالزحف وأضف noindex"]
    F -->|نعم| H["اتركه، وتوقف عن الربط، واحذفه من خريطة الموقع"]
    G --> I["اختياري: أداة الإزالة لنحو 6 أشهر"]
    E --> J["التحقق من الإصلاح في Search Console"]
    G --> J

كيف تتأكد من السبب لعنوان URL بعينه

شغّل أداة فحص عنوان URL على العنوان المتأثر. في تفاصيل فهرسة الصفحة، يخبرك حقل السماح بالزحف هل تحظر قاعدة في robots.txt محرك Google، وفي الاختبار المباشر يُظهر حقل جلب الصفحة إخفاقًا للعنوان المحظور. ويُظهر حقلا الصفحة المُحيلة وخرائط المواقع في القسم نفسه كيف ربما عثر Google على العنوان، فتعرف أي رابط أو إدخال في خريطة الموقع يُبقيه معروفًا. وتجاهل هنا حقل السماح بالفهرسة: إذ تنبّه مساعدة Google إلى أنه يُظهر دائمًا نعم للصفحة المحظورة، لأن Google لا يستطيع رؤية علامة noindex في صفحة لا يُسمح له بجلبها.

اعثر على القاعدة بالضبط. افتح ملف robots.txt في جذر المضيف والبروتوكول والمنفذ نفسها التي تقدّم العنوان، لأن قواعد كل ملف لا تسري إلا هناك:

curl -s https://www.example.com/robots.txt

ثم اقرأه كما يقرؤه Google، بحسب مواصفات Google لملف robots.txt:

• لا يتبع Googlebot إلا أكثر مجموعة User-agent مطابِقة تحديدًا. فإن كان في ملفك مجموعة User-agent: Googlebot، فإن مجموعة User-agent: * تُتجاهل كليًا بالنسبة إلى Googlebot.
• داخل تلك المجموعة، تفوز القاعدة ذات المسار المطابق الأطول. وحين تتطابق قاعدتا Allow وDisallow بالقدر نفسه، يستخدم Google الأقل تقييدًا.
• الرمز * يطابق أي تسلسل من الأحرف، والرمز $ يثبّت نهاية العنوان.

ويسرد تقرير robots.txt في Search Console ملفات robots.txt التي عثر عليها Google لأهم 20 مضيفًا في موقعك، ومتى زحف إلى كلٍّ منها آخر مرة، وأي تحذيرات أو أخطاء فيها. وهذا يكشف الحالة التي يقرأ فيها Google نسخة غير التي تعدّلها.

افحص ما وراء الحظر. قبل أن تلغي أي حظر، انظر إلى ما سيراه Google حين يستطيع جلب الصفحة:

curl -sI https://www.example.com/page/ | grep -i x-robots-tag
curl -s https://www.example.com/page/ | grep -i '<meta name="robots"'

فالصفحة المحظورة منذ أشهر قد تحمل علامة noindex منسية، أو إعادة توجيه، أو رمز 404 لم يلاحظه أحد، لأن أحدًا لم يكن يستطيع رؤيتها.

الإصلاح لكل حالة

ينبغي فهرسة الصفحة. احذف قاعدة Disallow أو ضيّقها. وحيث لا تزال قاعدة واسعة لازمة، أضف قاعدة Allow أطول للصفحات التي ينبغي الزحف إليها:

User-agent: *
Disallow: /shop/
Allow: /shop/guides/

المسار /shop/guides/ هو المطابقة الأطول، فيفوز لتلك العناوين، بينما يبقى باقي /shop/ محظورًا. وأبقِ العنوان في خريطة موقعك وفي روابطك الداخلية.

ينبغي أن تبقى الصفحة خارج البحث. أزِل قاعدة Disallow لتلك الصفحة وأضف توجيه noindex:

<meta name="robots" content="noindex">

ولملفات PDF وغيرها من الملفات غير HTML، أرسل التوجيه في ترويسة استجابة بدلًا من ذلك:

X-Robots-Tag: noindex

واحذف العنوان أيضًا من خريطة موقعك. فبمجرد أن يعيد Google الزحف إلى الصفحة ويقرأ noindex، يغادر العنوان الفهرس وينتقل إلى حالة "تم تمييز عنوان URL بعلامة noindex" ضمن مجموعة "غير مفهرَسة"، وهذه هي الحالة النهائية الصحيحة. وأبقِ الصفحة قابلة للزحف. فإن حظرتها مجددًا، تصبح علامة noindex غير مرئية، وقد تعيد الروابط العنوان بالتحذير نفسه. أما حذف الصفحة برمز 404 أو 410، أو وضعها خلف تسجيل دخول، فهما الخياران الدائمان الآخران اللذان يذكرهما Google. وأداة الإزالة في Search Console تُخفي العنوان لنحو 6 أشهر؛ وتذكر مساعدة Google أن الأداة وحدها ليست إزالة دائمة.

الحظر موجود للتحكم في الزحف. اترك القاعدة، وتوقف عن الربط إلى تلك العناوين من قوالبك، وأبقِها خارج خريطة الموقع كي لا تعلن عمّا تمنعه.

كيف تتحقق من الإصلاح

يخزّن Google ملف robots.txt مؤقتًا عادةً مدة تصل إلى 24 ساعة. وبعد تعديل الملف، يمكنك طلب إعادة الزحف إليه من تقرير robots.txt. ثم شغّل اختبارًا مباشرًا في أداة فحص عنوان URL: ينبغي أن يقول حقل السماح بالزحف الآن نعم. وللصفحة التي تريد فهرستها، اطلب الفهرسة.

وحين تعالج كل العناوين المتأثرة، افتح المشكلة في تقرير "فهرسة الصفحات" وانقر على زر التحقق من الإصلاح. وتذكر وثائق Google أن التحقق يستغرق عادةً ما يصل إلى نحو أسبوعين، وقد يستغرق أطول بكثير. وتوقّع أيامًا إلى أسابيع قبل أن ينخفض العدد، ولا تنقر على زر التحقق من الإصلاح مجددًا حتى ينجح التحقق الجاري أو يفشل.

من السهل أن تفوتك هذه الحالة من داخل المتصفح أو من محادثة مع مساعد، لأن الصفحة نفسها تبدو طبيعية؛ فالتعارض يقع في ملف منفصل، وهي فجوة تشرحها مقالة ما الذي يراه وكيل الذكاء الاصطناعي فعلًا حين يفحص صفحتك. يخبرك Search Console بالعناوين المتأثرة. أما تشخيص SEOReport الكامل فيطابق الصفحات التي تدرجها خريطة موقعك مع القواعد التي يضعها ملف robots.txt لكل الزواحف، ويسمّي الصفحات التي تعلنها خريطة موقعك بينما يحظرها robots.txt، وهذا هو التناقض الكامن وراء كثير من العناوين التي تُفهرس دون أن يُزحف إليها. ويرصد كذلك أي حظر شامل للموقع.

الأسئلة الشائعة

هل سيزيل Google الصفحة المحظورة من البحث من تلقاء نفسه؟

ليس بشكل يُعتمد عليه. فـ Google يحترم الحظر، فلا يستطيع قراءة أي شيء يطلب منه إسقاط الصفحة، والروابط تُبقي العنوان معروفًا. استخدم noindex في صفحة قابلة للزحف، أو رمز 404 أو 410، أو الحماية بكلمة مرور.

هل تضر هذه الحالة ببقية موقعي؟

لا تصف وثائق Google أي أثر على الصفحات الأخرى. فالكلفة محلية: عنوان مفهرس بوصف قليل أو بلا وصف، أو صفحة أردت إخفاءها ولا تزال مدرجة. أما عناوين التحكم في الزحف التي لا حضور لها في البحث، فالتحذير بالنسبة إليها شكلي إلى حد كبير.

ما الفرق بين هذه الحالة وحالة "تم حظر عنوان URL باستخدام ملف robots.txt"؟

كلتاهما تنشأ عن النوع نفسه من القواعد. فحالة "تم حظر عنوان URL باستخدام ملف robots.txt" تقع ضمن مجموعة "غير مفهرَسة": احترم Google الحظر ولم يفهرس العنوان. أما حالة "تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt" فهي تحذير: فهرس Google العنوان رغم ذلك لأن شيئًا ما يشير إليه. ويتناول دليلنا إلى robots.txt والوصول للزحف القواعد نفسها.

هل يمكنني استخدام noindex داخل robots.txt؟

لا. فمواصفات Google لملف robots.txt لا تدعم إلا أربعة حقول: user-agent وallow وdisallow وsitemap، فيُتجاهل أي سطر noindex هناك. ضع noindex في علامة meta للروبوتات في الصفحة أو في ترويسة استجابة X-Robots-Tag، على عنوان يُسمح لـ Google بالزحف إليه.

لماذا لا تزال الحالة تظهر بعد أن أزلت القاعدة؟

يجب أن يعيد Google جلب robots.txt، ويعيد الزحف إلى كل عنوان، ثم يحدّث التقرير. فإن أظهر اختبار مباشر في أداة فحص عنوان URL أن الزحف مسموح، فسيلحق التقرير بذلك. ويتناول دليل قابلية فهرسة الصفحات وتحليلنا لتعارضات قابلية الفهرسة بين noindex وrobots.txt وcanonical الإشارات ذات الصلة.