13% من المواقع المدققة تمنع الزاحف الذكي — تصحيح 40.8% الخاص بنا
قمنا بإعادة قراءة كل ملف robots.txt في عينةنا ووجدنا 2 عيوب في محللنا الخاص. المعدل المصحح هو 6 من 45 المواقع المدققة — 13.3%، وليس 40.8% الذي نشرناه أولاً. العدد المصحح يجمع بين الزواحف التدريبية والبحثية؛ إنه ليس معدل استبعاد للبحث الذكي.
تم تحديث August 31, 2026. الإصدار المنشور لهذا المقال في أغسطس 20 كان بعنوان "20 من 49 المواقع التي قمنا بتدقيقها — 40.8%". هذا الرقم كان خاطئًا مرتين. 40.8% كان حصة تشغيلات التدقيق الفردية التي فشلت في الفحص، وليس حصة المواقع المتميزة، ورفعها مرة أخرى على عدد المواقع أنتج "20 مواقع" لم يُعدها أحد من قبل. الأكثر سوءًا، عندما عدنا وقرأنا كل robots.txt في العينة مقابل المواصفة، 2 عيوب في محللنا الخاص تبين أنها تُصنع نصف الفشل. الأرقام المصححة أدناه، والتصحيح هو الآن النصف الأكثر فائدة من هذا المقال.
في August 31, 2026 أعدنا جلب الملف من جميع 48 نطاقات متميزة تم تدقيقها في نافذة محركنا الحالية، و45 منها خدموا واحد. من بين تلك 45، 6 مواقع — 13.3% — أغلقت على الأقل 1 زاحف AI رئيسي من الموقع بأكمله. في الطرف المقابل، لا توجد قواعد تنطبق على الزواحف الذكية على الإطلاق في 8 مواقع — ليس حتى توجيه عام لهم للامتثال. هذا هو 17.8% من العينة.
هذا يترك 31 مواقع — 68.9% من العينة — مع robots.txt يذكر سياسة سيقرأها زاحف AI فعليًا ولا يمنع أي منها على مستوى الموقع. العدد لا يكشف عن عدد المالكين الذين راجعوا هذه السياسات عمدًا، وتقييد زاحف تدريب واحد لا يثبت فقدان الرؤية البحثية.
| تمنع على الأقل 1 زاحف AI على مستوى الموقع | 6 | 13.3% |
| لا توجد قواعد تنطبق على الزواحف الذكية على الإطلاق | 8 | 17.8% |
| قواعد صريحة، لا حظر على مستوى الموقع | 31 | 68.9% |
المنهجية. السكان هم كل نطاق مميز مع تدقيق مكتمل في نافذة محركنا الحالية، التي تعمل من مايو 23 إلى August 31, 2026. هذا هو 48 نطاقات عبر 228 تشغيل تقارير. الأحكام المخزنة تحمل إجابة المحلل المعيب، لذلك الجدول أعلاه ليس المجموع المخزن. إنه إعادة جلب في نفس اليوم لملفات robots.txt الحية لتلك النطاقات، المقروءة في أغسطس 31 وتقييمها بالمحلل المصحح. 3 من 48 لم تعد تقدم robots.txt على الإطلاق، وهذا هو سبب أن المقسوم هو 45. العينة مختارة ذاتيًا — هذه مواقع اختار شخص ما لتدقيقها — وتميل إلى الصغر إلى المتوسط. عامل المعدلات كاتجاهية للذيل الطويل للويب بدلاً من الويب بأكمله. النطاقات غير مسماة.
التصحيح هو جزء من الأدلة
إعادة قراءة الملفات كشفت عن معالجة غير صحيحة لقيم عدم السماح الفارغة والعلاقة بين مجموعات الزاحف المسماة والقواعد العامة. RFC 9309 يوفّر التفسير العام: مسار فارغ يُتجاهل، وتُفضّل المجموعات المسماة المعمول بها على مجموعة البدل العام. قد تحتاج مجموعات الزاحف نفسه إلى الجمع؛ ترتيب الملفات وحده ليس سياسة موثوقة.
تم تصحيح العيوب واختبارات الانحدار تحافظ على الحالات التي كشفت عنها. في هذه العينة، لم تكن مواقع 5 التي كانت مسماة سابقًا كمنع، بينما كان 1 التي كانت مسماة سابقًا كواضحة محظورة. النتيجة المصححة هي ملاحظة تاريخية للملفات التي جلبت. لا يثبت وصول اليوم أو معدل انتشار الويب بأكمله.
robots.txt هو سطح وصول واحد فقط. تحدي CDN، جدار تسجيل الدخول أو رفض الشبكة يمكن أن يمنع الاسترجاع حتى عندما يسمح الملف بذلك. وعلى العكس، فإن قيد تدريب متعمد ليس دليلًا على أن الموقع غير مرئي في بحث الذكاء الاصطناعي. الرقم 13.3% يجمع أغراض الزاحف ولا يمكن تقديمه كمعدل استبعاد للبحث بالذكاء الاصطناعي.
الوصول إلى البحث وإذن التدريب هما قرارات مختلفة
وثائق بوت OpenAI تميز OAI-SearchBot، المستخدم لاكتشاف البحث، عن GPTBot، المستخدم لتدريب النموذج المحتمل. تحكمهم مستقلون. يمثل ChatGPT-User الزيارات الموجهة من قبل المستخدم ولديه دور مختلف مرة أخرى. يجب أن يذكر مراجعة السياسة الغرض الذي يعتزم السماح به أو تقييده.
توثيق Anthropic تفصل الزواحف للتدريب، البحث والاسترجاع للمستخدم أيضًا. لا تحول العبارة العامة "AI bot" إلى مفتاح إذن واحد إلا إذا كان ذلك هو نية المالك الحقيقية.
Google له أسطح تحكم خاصة به. يغطي دليل البحث التوليدي الخاص بنا generative search guide إعداد شمول وحدة التحكم في البحث إلى جانب الزحف، الفهرسة، وأهلية المقتطف. Google-Extended هو تحكم منفصل؛ وجوده في robots.txt لا يحل محل مراجعة إعداد البحث.
هذه الفروق مفيدة تجاريًا. قد يرغب عمل في أن تُكتشف وثائقه العامة من قبل العملاء المحتملين مع اتخاذ قرار منفصل بشأن التدريب. لا يضمن قاعدة السماح أو إعداد الشمول أن الجواب سيستشهد بالصفحة. يحددون جزءًا من الشروط التي يمكن أن يحدث فيها الاكتشاف.
راجع URL مهمًا ضد السياسة التي كنت تنوي تطبيقها
اختر صفحة يجب أن يكون العميل المحتمل قادرًا على العثور عليها: دليل مفيد، شرح منتج أو مثال مطور. سجل مزود الغرض والزاحف، السياسة المعمول بها، والاستجابة التي تم تسليمها فعليًا. احتفظ بوقت التوقيت وفصل طلب مزود موثوق حقيقي عن اختبار يستخدم فقط اسم وكيل المستخدم.
إذا أراد المالك اكتشاف البحث والزاحف البحثي المعني غير مسموح به عن غير قصد، أصلح هذا التعارض المحدد. إذا كان حظر التدريب متعمدًا، سجله كمتعمد. لا تزيله فقط لجعل درجة البوت العامة أكثر خضرة.
قاعدة مفقودة غير مسماة ليست عيبًا تلقائيًا. قد تحكم قاعدة وائلية الزاحف؛ إذا لم ينطبق أي مجموعة، لا يعامل معيار robots هذا الغياب كمنع. يمكن أن توثق القواعد الصريحة النية، لكن المزيد من الأسطر لا يعني بالضرورة سياسة وصول أفضل.
بعد تغيير الملف، افحص الاستجابة الحية. قد يختلف ملف أو ذاكرة التخزين المؤقت المدارة من قبل المزود عن نسخة المستودع. ثم تحقق من الصفحة المهمة نفسها، بما في ذلك الوجهة النهائية بعد أي تحويلات. يشرح مقالة تعارض القابلية للفهرسة سبب فصل إذن الزحف وإذن الفهرسة كملاحظات منفصلة.
قياس ما إذا كان الوصول يصبح رؤية مفيدة
الحفاظ على السياسة والأدلة الاستجابة قبل البحث عن النتائج. Google انطباعات الذكاء الاصطناعي التوليدي، اقتباسات الموفر، زيارات الإحالة وإجراءات المنتج المفيدة كل منها يجيب سؤالاً مختلفاً. سجل مصدرهم ونوافذ التقارير بدلاً من دمجهم في إجمالي رؤية ذكاء اصطناعي مخترع.
بالنسبة لـ SEOReport، أقوى دليل عام هو صفحة متأثرة، سلوك المالك المقصود، إصلاح ملموس ونتيجة تحقق قابلة للتكرار. يمكن للقراء تقييم تلك الحقائق دون الحاجة لوصفة الكشف الخاصة. يربط دليل جاهزية البحث بالذكاء الاصطناعي هذه الملاحظات بمراجعة عملية.
هذا التصحيح يغيّر الدرس من العنوان الأصلي. يدعم عينةنا عددًا صغيرًا ومُحدَّثًا من قيود الزاحف. العمل المفيد هو تحديد القيود التي تتطابق مع نية المالك، فحص الصفحة المرسلة، وقياس النتائج التي يُبلغ عنها سطح البحث المختار فعليًا.
احصل على التشخيص الكامل لموقعك
تقرير مدعوم بالأدلة وخطة عمل مرتبة حسب الأولوية، ضمن خطة بأرصدة شهرية.