تم حظر عنوان URL باستخدام ملف robots.txt: متى يكون صحيحًا ومتى يكلّفك

تعني حالة "تم حظر عنوان URL باستخدام ملف robots.txt" (وفي واجهة Search Console الإنجليزية: URL blocked by robots.txt) أن Google لم يزحف إلى عنوان URL لأن قاعدة في ملف robots.txt لديك تحظره، وأن العنوان ليس في الفهرس. وفي معظم المواقع تكون الحالة صحيحة: فمناطق الإدارة والسلال والبحث الداخلي وعناوين المعلَمات محظورة عن قصد. ولا تكلّفك إلا حين تلتقط القاعدة صفحة تريدها في البحث، والمهمة أن تجد تلك الصفحات بين المحظورة عمدًا.

حتى 2022 كان تقرير "تغطية الفهرسة" في Search Console يستخدم لها اسمين (2): «تم حظر عنوان URL المُرسَل بموجب معايير ملف robots.txt» للعناوين المدرجة في خريطة موقع أرسلتها، و«تمّ حظر الوصول باستخدام ملف robots.txt» لما سواها. وفي الألمانية، تذكر وثائق المساعدة لدى Google الحالة اليوم بعبارة "URL wird von der robots.txt-Datei blockiert"؛ وكان الاسم الأقدم "Durch robots.txt-Datei blockiert". وإن كان تقريرك يقول "تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt" (وبالألمانية "Indexiert, obwohl durch robots.txt-Datei blockiert")، فالعنوان في الفهرس رغم الحظر، ولتلك الحالة دليلها الخاص.

ما معنى هذه الحالة بحسب Google

تذكر وثائق Google عن تقرير "فهرسة الصفحات" (راجعناها في أكتوبر 2026) حالة "تم حظر عنوان URL باستخدام ملف robots.txt" ضمن مجموعة "غير مفهرَسة"، وتقول إن ملف robots.txt في موقعك حظر الصفحة. وتقدّم الوثائق نفسها مجموعة "غير مفهرَسة" كلها بقولها إن هذه الصفحات غير مفهرسة "لكن ليس بالضرورة بسبب خطأ".

وللحظر نتيجتان (2) تمسّان قرارك:

• الحظر يوقف الزحف لا الفهرسة. تضيف وثائق Google أن الحظر لا يضمن بقاء الصفحة خارج الفهرس. فإن وجد Google معلومات عن الصفحة دون تحميلها، كالروابط من صفحات أخرى، فهناك احتمال ضئيل أن يفهرسها رغم ذلك، فتنتقل إلى حالة "تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt".
• لا يرى Google الصفحة أبدًا. لا عنوان، ولا محتوى، ولا روابط فيها، ولا canonical، ولا noindex. فكل ما تقوله الصفحة عن نفسها غير مرئي ما دامت القاعدة قائمة.

هل هي مشكلة؟ افرز الحظر المقصود من الحظر العَرَضي

ابدأ بعامل التصفية أعلى تقرير "فهرسة الصفحات". بدّله من خيار جميع الصفحات المعروفة إلى خيار جميع الصفحات المُرسَلة. فالعناوين المحظورة التي تظهر ضمن جميع الصفحات المُرسَلة مدرجة في خريطة موقع أرسلتها: أي أنك تطلب من Google فهرستها بينما يمنع robots.txt الزحف إليها. وهذا التناقض خطأ في أغلب الأحوال، أيًّا كان مقصد القاعدة.

وفي 29 موقعًا خارجيًا قُدّمت لتدقيق SEOReport وجلبنا صفحات خرائطها بين مايو وأكتوبر 2026، أدرج موقعان (2، أي 7%) في خريطتيهما عناوين يحظرها ملف robots.txt الخاص بهما. وليست هذه أكثر مشكلات خرائط المواقع شيوعًا، لكنها المشكلة التي تحظر صفحات أعلن الموقع نفسه أنها مهمة.

الأنماط العَرَضية، قبل الإصلاح وبعده

كل نمط أدناه قاعدة عملت كما كُتبت، وحظرت أكثر مما قُصد.

1. ملف بيئة التجهيز الذي وصل إلى الإنتاج. يُحظر موقع التطوير بالكامل، فينتقل الملف إلى الإنتاج مع بقية البناء.

# Before: copied from staging
User-agent: *
Disallow: /

# After: block only what should never be crawled
User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

2. بادئة أقصر مما ينبغي. يطابق Google القاعدة من بداية مسار العنوان، فـ Disallow: /search تحظر /search?q=shoes، وتحظر أيضًا /search-engine-basics/، وهي مقالة حقيقية.

# Before
Disallow: /search

# After: block only the search results
Disallow: /search/
Disallow: /search?

3. حرف بدل يلتقط صفحات الهبوط. الرمز * يطابق أي تسلسل من الأحرف، والمطابقة لدى Google تشمل سلسلة الاستعلام. فـ Disallow: /*? تحظر كل عنوان فيه معلَمة، بما في ذلك صفحات الفئات المقسّمة مثل /shoes/?page=2 التي قد تريد الزحف إليها ليُعثر على المنتجات فيها.

# Before
Disallow: /*?

# After: keep pagination crawlable, block the rest
Disallow: /*?
Allow: /*?page=

والفخ نفسه ينطبق على امتدادات الملفات. ففي موقع تنتهي صفحاته بـ .php، تحظر Disallow: /*.php الكتالوج كله.

4. مجموعة Googlebot منسية. تذكر مواصفات Google لملف robots.txt أن الزاحف لا يتبع إلا أكثر مجموعة تحديدًا تسمّيه، وأن المجموعات المحددة لا تُجمع مع مجموعة *. فمجموعة User-agent: Googlebot كُتبت لعملية ترحيل قبل سنوات تظل تنطبق على Googlebot، بينما يعدّل الفريق مجموعة * وحدها ولا يجد تفسيرًا للحظر.

# Before: Googlebot reads only its own group
User-agent: Googlebot
Disallow: /blog/

User-agent: *
Disallow: /cart/

والإصلاح أن تحذف المجموعة القديمة أو تنسخ القواعد الحالية إليها. والقاعدة نفسها تفسّر أثرًا جانبيًا شائعًا لسياسات زواحف الذكاء الاصطناعي: فالموقع الذي يضيف مجموعات مسمّاة لروبوتات بعينها يجب أن يكرر كل قاعدة مشتركة في كلٍّ منها. ويعرض جدول القرار الخاص بملف robots.txt وزواحف الذكاء الاصطناعي أنماطًا تفصل قواعد البحث عن قواعد الذكاء الاصطناعي.

5. موارد العرض المحظورة. تحظر Disallow: /assets/ أو Disallow: /static/ ملفات CSS وJavaScript التي تحمّلها صفحاتك. وتذكر مقدمة Google عن robots.txt أنك تستطيع حظر الموارد غير المهمة، لكن ليس الموارد التي يجعل غيابها فهم الصفحة أصعب على Google. ونادرًا ما تظهر الملفات المحظورة من هذا النوع صفحاتٍ في تقرير "فهرسة الصفحات"، فابحث عنها من جهة الصفحة: شغّل اختبارًا مباشرًا في أداة فحص عنوان URL، وافتح عرض الصفحة التي تم اختبارها، ثم مزيد من المعلومات، لترى موارد الصفحة التي حمّلها Google. وافحص مضيف الموارد أيضًا: فملف robots.txt يسري لكل مضيف وبروتوكول ومنفذ، فالملفات المقدَّمة من cdn.example.com تتبع ملف robots.txt الخاص بذلك المضيف. والسكربت المحظور الذي يبني محتوى الصفحة أشد أثرًا في المواقع التي تعرض صفحاتها في المتصفح، وهو ما يتناوله دليل عرض JavaScript.

كيف تختبر قاعدة في robots.txt على عنوان URL

لا تحتاج إلى أداة لتتنبأ بقرار Google. فمواصفات Google تجعله 4 خطوات.

flowchart TD
    A["العنوان المراد اختباره"] --> B["افتح robots.txt على المضيف والبروتوكول نفسيهما"]
    B --> C{"هل توجد مجموعة لـ Googlebot؟"}
    C -->|نعم| D["استخدم تلك المجموعة وحدها"]
    C -->|لا| E["استخدم مجموعة *"]
    D --> F["اسرد كل قاعدة Allow وDisallow تطابق المسار"]
    E --> F
    F --> G{"هل توجد مطابقة؟"}
    G -->|لا| H["مسموح"]
    G -->|نعم| I["تفوز القاعدة ذات المسار الأطول"]
    I --> J{"هل Allow وDisallow بالطول نفسه؟"}
    J -->|نعم| H
    J -->|لا| K["طبّق القاعدة الأطول"]

1. اختر الملف. افتح /robots.txt على المضيف والبروتوكول نفسيهما اللذين يستخدمهما العنوان. فـ https://www.example.com/robots.txt لا يحكم https://shop.example.com/.
2. اختر المجموعة. استخدم أكثر مجموعة User-agent تحديدًا تطابق Googlebot. وأسماء وكلاء المستخدم ليست حساسة لحالة الأحرف.
3. اعثر على القواعد المطابقة. تطابق القاعدة إذا طابق مسارها بداية مسار العنوان مع الاستعلام. الرمز * يطابق أي أحرف، والرمز $ يحدد نهاية العنوان، والمسارات حساسة لحالة الأحرف: /Shop/ لا تطابق /shop/.
4. اختر الفائزة. تفوز القاعدة ذات المسار الأطول. وإن تعادلت Allow وDisallow، يستخدم Google الأقل تقييدًا، أي Allow.

وهذه الطريقة مطبّقة على ملف "بعد الإصلاح" من النمط 3، مع إضافة Disallow: /search:

ولتتحقق من قراءة Google نفسه لا من قراءتك، شغّل أداة فحص عنوان URL على العنوان. ففي تفاصيل الزحف، يُظهر حقل السماح بالزحف ما إذا كانت قاعدة في robots.txt تحظر Google، والاختبار المباشر يطبّق الملف الذي يستطيع Google جلبه الآن. كما ينشر Google محلّل robots.txt الخاص به مكتبةً مفتوحة المصدر، يستطيع المطوّرون تشغيلها على مسودة ملف قبل نشره.

أصلِح القاعدة، ثم تحقّق

عدّل الملف بحيث لا تعود الصفحات التي تريد الزحف إليها مطابَقة. ضيّق قاعدة Disallow الواسعة، أو أضف قاعدة Allow أطول للاستثناء، أو احذف مجموعة متبقية. ثم:

1. اجلب الملف الحي لتتأكد من أن الخادم يقدّم تعديلك، لا نسخة مخزّنة مؤقتًا أو نسخة من وقت البناء: curl -s https://www.example.com/robots.txt.
2. اطلب إعادة الزحف إلى robots.txt من تقرير robots.txt في Search Console. يخزّن Google الملف مؤقتًا عادةً مدة تصل إلى 24 ساعة، وتذكر مساعدة التقرير إلغاء حظر عناوين مهمة سببًا لطلب إعادة الزحف. ويُظهر التقرير متى جلب Google الملف آخر مرة وأي أخطاء أو تحذيرات؛ والسطر الذي فيه خطأ يُتجاهل.
3. شغّل اختبارًا مباشرًا في أداة فحص عنوان URL على 2 أو 3 من العناوين المتأثرة. ينبغي أن يقول حقل السماح بالزحف الآن نعم. واطلب الفهرسة للصفحات الأهم؛ وتذكر مساعدة Google أن الفهرسة قد تستغرق ما يصل إلى أسبوع أو أسبوعين.
4. انقر على زر التحقق من الإصلاح على المشكلة في تقرير "فهرسة الصفحات" بعد تصحيح القاعدة. وتذكر وثائق Google أن التحقق يستغرق عادةً ما يصل إلى نحو أسبوعين (2)، وقد يستغرق أطول بكثير.

وتذكر مساعدة Google عن إعادة الزحف أن الزحف قد يستغرق من بضعة أيام إلى بضعة أسابيع، فتوقّع أن ينخفض العدد تدريجيًا. والعناوين التي تبقى في التقرير بعد ذلك ينبغي أن تكون هي التي قصدت حظرها.

وقبل أن تلغي حظر صفحة ظلت مخفية شهورًا، انظر إليها كما سينظر إليها الزاحف: رمز حالتها، وعلامة meta للروبوتات فيها، وعلامة canonical. فالصفحة التي لم يستطع أحد الزحف إليها قد تحمل علامة noindex منسية، فتنتقل مباشرة إلى حالة "تم تمييز عنوان URL بعلامة noindex". ويتناول تحليلنا لتعارضات قابلية الفهرسة كيف تتفاعل هذه الإشارات.

يخبرك Search Console بالعناوين المحظورة. أما تشخيص SEOReport الكامل فيطابق الصفحات التي تدرجها خريطة موقعك مع قواعد robots.txt لديك، ويسمّي الصفحات التي تطلب من محركات البحث العثور عليها بينما تطلب منها ألا تزحف إليها. ويرصد كذلك أي حظر شامل للموقع وغياب ملف robots.txt. وهو يقرأ القواعد المكتوبة لكل الزواحف، فالمجموعة الخاصة بـ Googlebot وحده تظل أمرًا يجب التأكد منه في أداة فحص عنوان URL.

الأسئلة الشائعة

هل يضر العدد الكبير من العناوين المحظورة بموقعي؟

لا، ليس بذاته. فآلاف عناوين المعلَمات أو البحث المحظورة علامة على أن robots.txt يؤدي عمله. عُدّ العناوين المحظورة التي تدرجها خريطة موقعك، والصفحات المحظورة التي تريدها في الترتيب؛ فهذه وحدها ما يكلّفك.

ماذا يحدث إذا كان ملف robots.txt غائبًا أو يُرجع خطأ؟

تعامل مواصفات Google استجابة 404 أو أي استجابة 4xx أخرى (عدا 429) كأنه لا يوجد ملف robots.txt، فلا يُحظر شيء. أما خطأ 5xx فمختلف: إذ يتوقف Google عن الزحف إلى الموقع في أول 12 ساعة، ثم يستخدم آخر نسخة سليمة لديه مدة تصل إلى 30 يومًا. ويعامل Google انتهاء المهلة وأخطاء DNS في الملف بالطريقة نفسها، فملف robots.txt الذي تنتهي مهلته قد يوقف الزحف إلى موقع لا يحتوي على أي قواعد حظر إطلاقًا.

هل ينبغي حذف العناوين المحظورة من خريطة موقعي؟

نعم. فخريطة الموقع تسرد العناوين التي تريد فهرستها، فلا ينبغي أن تحتوي على أي عنوان يحظره robots.txt. احذف الحظر المقصود من خريطة الموقع، وألغِ الحظر العَرَضي. ويتناول دليلنا إلى خرائط مواقع XML ما ينتمي أيضًا إلى الملف.

هل يمكنني استخدام robots.txt لإزالة صفحة من Google؟

لا. فملف robots.txt يتحكم في الزحف، ويستطيع Google مع ذلك فهرسة عنوان محظور تربط إليه صفحات أخرى. ولإبقاء صفحة خارج البحث، دع Google يزحف إليها وأضف noindex. ويشرح دليل robots.txt والوصول للزحف أي أداة تؤدي أي مهمة.

هل يؤثر ملف robots.txt في نطاق فرعي أو على HTTP في موقعي الرئيسي؟

لا. فلكل تركيبة من المضيف والبروتوكول والمنفذ ملفها الخاص، ولا يقرأ Google ملفات robots.txt الموضوعة في أدلة فرعية. فملف حظر على staging.example.com لا يستطيع حظر www.example.com، لكن ملف robots.txt على مضيف الموارد أو CDN لديك هو الذي يقرر ما إذا كان Google يستطيع جلب الملفات التي تحمّلها صفحاتك.