2 في 5 المواقع التي نراجعها تمنع على الأقل 1 الزاحف الذكي

كل تدقيق نقوم به يجلب robots.txt ويقرأه بالطريقة التي سيقرأها الزاحف الذكي. بين مايو 5 وAugust 15, 2026، 20 من مواقع 49 التي تدقيقناها — 40.8% — قدمت قواعد أغلقت على الأقل 1 من 6 من الروبوتات الذكاء الاصطناعي الرئيسية التي نفحصها، عبر الموقع بأكمله. مواقع أخرى 7 (14.3%) كانت في الطرف المقابل: لا توجد قواعد تنطبق على الزواحف الذكية على الإطلاق، ولا حتى تعليمات عامة يجب أن يلتزموا بها. هذا يترك أقل من نصف العينة — 22 مواقع — مع robots.txt يوضح سياسة واضحة للزاحف الذكية ولا يمنع أي منها على مستوى الموقع. في عام عندما يقتبس ChatGPT بحث، Perplexity، وClaude المصادر عن طريق جلبها، أصبح الملف الذي لم يفتحه معظم المالكين منذ الإطلاق بمثابة مفتاح للظهور.

المنهجية: أحدث لقطة تدقيق مكتملة لكل نطاق من مجموعتنا الحالية، مايو 5 – August 15, 2026، مجهولة الهوية. المقامات لكل تدقيق تختلف بين 46 و 49 لأن ليس كل تدقيق يُجرى على كل موقع — هذه 2 تدقيقات تتطلب robots.txt مُقدَّم بنجاح. txt. العينة مختارة ذاتيًا — المالكون الذين أجروا تدقيقًا — وتميل إلى الشركات الصغيرة إلى المتوسطة، لذا اعتبر المعدلات اتجاهية للذيل الطويل للويب بدلاً من الويب بأكمله.

يعني الحظر في هذه البيانات منعًا على مستوى الموقع في robots.txt

يقوم محركنا بتحليل كل مجموعة robots.txt وتقييم 6 وكلاء مستخدمين مقابلها: GPTBot، OAI-SearchBot، PerplexityBot، ClaudeBot، Claude-SearchBot، وCCBot. يُعد الزاحف محظورًا فقط عندما تتطابق مجموعة مع اسمه — أو عبر وائل User-agent: * — وتحتوي على Disallow: / على مستوى الموقع. تُسجّل قواعد الإيقاف الجزئي مثل Disallow: /admin كسياسة صريحة، وهو ما يُعتبر صحيًا، وتنجح. 2 خصائص ذلك التعريف مهمة لقراءة الأرقام. أولاً، هو محافظ: تحدي WAF، قاعدة CDN للروبوتات، أو حظر جدار الحماية لا يظهر أبدًا في robots.txt، لذا 40.8% هو الحد الأدنى لعدد المواقع التي تُبعد هذه الزواحف فعليًا. ثانيًا، تعني عبارة الويلد كليّة أن الموقع يمكنه حظر كل زاحف AI دون كتابة اسم زاحف AI — إيقاف شامل مكتوب لبيئة الاختبار، أو قالب لم يقرأه أحد منذ سنوات، ينطبق على GPTBot تمامًا كما ينطبق على كل شيء آخر.

معظم هذه الحظر يجيب على سؤال من 2023

نمط الحظر الذي نراه يتطابق مع ما تُبلغه عينات خارجية أكبر. أُجري تحليل في مارس 2026 لـ 10,000 موقع بواسطة أدوات تقييم SEO ووجد أن 18.7% تحظر GPTBot بنشاط و41.3% لا تتضمن قواعد robots مخصصة للذكاء الاصطناعي على الإطلاق. يظل عددهم بدون قواعد أعلى من 14.3% لدينا — تختلف التعريفات بين العينات، ويحسب فحصنا مجموعة وائل كسياسة مطبقة — لكن كلا المجموعتين يتفقان على الشكل: أقلية كبيرة من الويب اتخذت قرارًا بالوصول للـ AI لم يتخذوا به بوعي. الجزء غير المقصود هو القصة. في 2023، عندما ظهر GPTBot لأول مرة في سجلات الخادم وأصبح CCBot شائعًا كمنبع تدريب، كان النتيجة المعروفة الوحيدة للوصول هو تدريب النموذج — لذا انتشرت قوائم حظر الروبوتات، وأُرسلت الإضافات مع 1-تبديل النقر، وتوارث آلاف ملفات robots.txt قواعد إيقاف لم يقرأها أحد منذ ذلك الحين. السؤال الذي أجابت عليه تلك القواعد كان "هل أريد أن يكون محتواي في مجموعة تدريب؟" السؤال الذي يهم في 2026 مختلف: "هل أريد أن أكون قابلًا للعثور عليه ومقتبسًا عندما يجيب مساعد على موضوعي؟" قاعدة مكتوبة للسؤال الأول الآن تجيب بصمت على الثاني.

الزواحف التدريبية والزواحف البحثية تستحق إجابات مختلفة

الزواحف 6 التي نفحصها تنقسم بوضوح إلى وظائف 2، حسب وثائق الروبوت المنشورة لكل مشغل:

• البحث والاسترجاع. OAI-SearchBot يُفهرس المحتوى بحيث يمكن لـ ChatGPT البحث عرضه وربطه — OpenAI وثّق أن هذا الوصول، ولا هذا الوصول فقط، يحدد ما إذا كانت الصفحات تُعتبر لنتائج البحث ChatGPT. يبني PerplexityBot فهرس البحث الخاص بـ Perplexity. يُفهرس Claude-SearchBot لتحسين إجابات Claude المدعومة بالبحث. حظر أيٍّ من هؤلاء يُزيلك من اقتباسات ذلك المساعد.
• التدريب. يجمع GPTBot محتوى قد يُدرّب نماذج OpenAI. يقوم ClaudeBot بالزحف المكافئ لـ Anthropic. يقدّم CCBot Common Crawl، المجموعة المفتوحة خلف العديد من مجموعات البحث والتدريب. أوضح OpenAI أن حظر GPTBot لا يؤثر على شمول ChatGPT في البحث — الأنابيب 2 منفصلتان.

Google يقوم بتقسيم نفسه تحت أسماء مختلفة: يظهر AI الخاص به في الوصول العادي إلى Googlebot، بينما يتحكم رمز Google-Extended المنفصل في تدريب Gemini وتأسيسه. غطينا هذه الآلية في دليلنا للبحث التوليدي Google.

يحول التقسيم القلق الضبابي إلى قرار 2-جزئي. حظر الزواحف التدريبية هو موقف مشروع حول كيفية إعادة استخدام محتواك، ولا يكلفك شيئًا في بحث AI. حظر الزواحف الاسترجاعية هو قرار رؤية — نفس فئة عدم الفهرسة بنفسك — ويستحق نفس الدقة.

اكتب ملف robots.txt يسجل القرار

إليك سياسة تبقى مرئية بالكامل في بحث AI مع حجب موافقة التدريب — أكثر تقسيمات متعمدة شيوعًا نراها:

# Search & retrieval — open, so assistants can find and cite this site
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Training — withheld; this has no effect on AI search visibility
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

إذا كنت تريد كل شيء مفتوحًا، قل ذلك صراحةً بدلاً من الإغفال — مجموعة Allow: / المسمى لكل زاحف توثق أن شخصًا ما قرر، وهو ما يفتقده الـ14.3% الذين لا توجد لديهم قواعد قابلة للتطبيق. خطوات التحقق 3 تغلق الحلقة. جلب https://yoursite.com/robots.txt من خارج شبكتك وقراءة ما تقدمه الإنتاج فعليًا — يمكن للـ CDNs والمنصات حقن أو تجاوز الملف في مستودعك، وبعض مزودي الحافة يرسلون حظر بوت AI بـ 1-نقرة يطغى على تعليماتك بالكامل. افحص أي قواعد WAF أو إدارة الزواحف لنفس وكلاء المستخدم 6، لأن إذن robots.txt لا يعني شيئًا لزاحف يحصل على 403. ثم أعد تشغيل الفحص بعد كل تغيير في البنية التحتية؛ يمكن أن يغير مزود الخدمة هذا المفتاح دون لمس كودك. 1 ملاحظة حول كيفية قراءة تدقيقنا للسياسة المتعمدة أعلاه: سيظل الحظر على مستوى الموقع على GPTBot، ClaudeBot، وCCBot يظهر كإيجاب. هذا بالتصميم. يجب أن يكون حظر الزاحف الذكي على مستوى الموقع قرارًا مؤكدًا دائمًا، والنتيجة هي حيث تؤكد ذلك — وضع الفشل الذي تهدف هذه الفحص إلى اكتشافه هو الحظر الذي لا يذكر أحد كتابته.

أقل تدقيق للظهور الذي ستجريه هذا العام

robots.txt هو 1 من 2 الملفات التي يتواصل من خلالها موقعك مع أنظمة الذكاء الاصطناعي — الأخرى هي llms.txt، حيث تُظهر بياناتنا 76% من الملفات تفشل في الوكلاء الذين كُتبت من أجلهم. كلاهما يشارك نفس توقيع الفشل مثل الحظر في هذا التقرير: مكتوب مرة واحدة، معقول نحويًا، لا يُقرأ مرة أخرى. المواقع في عينةنا التي كانت لديها موقف زاحف ذكاء اصطناعي نظيف لم تكن الأكبر أو الأفضل مواردها. كانت المواقع التي فتح فيها شخص ما الملف منذ 2023 وأجاب على السؤال الحالي. قراءة ملفك تستغرق 2 دقيقة؛ يقرأك التقرير المجاني بدلاً منك، ويذكر كل واحد من 6 الزواحف، ويظهر بالضبط القاعدة التي تنطبق على كل منها — لذا القرار المسجل هو الذي قمت به فعلاً.