Back to articles

ملف robots.txt لزواحف الذكاء الاصطناعي: البحث والتدريب وطلبات المستخدمين

SEOReport Team·
robots-txtai-crawlersai-searchcrawl-accesstechnical-seo

ملف robots.txt لزواحف الذكاء الاصطناعي في جدول قرار: الرمز الخاص بالبحث بالذكاء الاصطناعي وتدريب النماذج وطلبات المستخدمين، وكلفة حظر كلٍّ منها، و3 سياسات جاهزة.

تخدم زواحف الذكاء الاصطناعي 3 أغراض مختلفة، ويتحكم ملف robots.txt في كلٍّ منها عبر رمز خاص به (user-agent token): الزحف لميزة بحث أو إجابات بالذكاء الاصطناعي، وجمع الصفحات لتدريب النماذج، وجلب صفحة لأن شخصًا طرح سؤالًا. ومعظم المواقع تريد الغرض الأول، وتتخذ قرارًا مدروسًا بشأن الثاني، ولا تستطيع التحكم في الثالث إلا جزئيًا. والقاعدة الواحدة من نوع "احظر الذكاء الاصطناعي" تخلط بينها، والضحية المعتادة هي الظهور في البحث بالذكاء الاصطناعي الذي أراد المالك الاحتفاظ به.

يتبع الجدول وثائق المشغّلين أنفسهم، التي راجعناها في أكتوبر 2026 ونتابعها زاحفًا زاحفًا في مرجعنا لزواحف الذكاء الاصطناعي.

أي رمز في robots.txt يتحكم في أي غرض من أغراض الذكاء الاصطناعي؟

البحث والإجابات بالذكاء الاصطناعيOAI-SearchBot، Claude-SearchBot، PerplexityBot، meta-webindexer، Amzn-SearchBotتقول OpenAI إن المواقع التي ترفض لا تُعرض في إجابات بحث ChatGPT، إلا روابطَ تنقّل. وتقول Anthropic إن الظهور في نتائج بحث Claude قد ينخفض. وتربط Perplexity نتائج بحثها بزاحفها. وتقول Meta إن السماح لمفهرِسها يساعد Meta AI على الاستشهاد بمحتواك والربط إليه.نعم. كل مشغّل يسمّي الرمز أداةً للتحكم.
تدريب النماذجGPTBot، ClaudeBot، meta-externalagent، Amazonbotتقول OpenAI وAnthropic إن القاعدة تشير إلى أن محتواك لا ينبغي استخدامه في التدريب، وتُبقيان البحث تحت رمز منفصل. وزاحفا Meta وAmazon يخدمان أيضًا استخدامات المنتجات، فحظرهما يوقف تلك أيضًا.نعم. كل مشغّل يسمّي الرمز أداةً للتحكم.
رموز تدريب بلا زاحف خاص بهاGoogle-Extended، Applebot-ExtendedGoogle: لا أثر على الإدراج في البحث أو الترتيب، لكن يُسحب الاستناد (grounding) في Gemini إلى جانب التدريب. Apple: ميزات البحث لا تتأثر ما دام Applebot مسموحًا له.يُقرأ حين تجلب زواحف Google وApple الحالية موقعك.
أرشيف الويب المفتوحCCBotعمليات الزحف الجديدة تُبقي صفحاتك خارج الأرشيف الذي تقدّمه Common Crawl للباحثين والشركات والأفراد.نعم. تقول Common Crawl إن CCBot يفحص robots.txt قبل الجلب.
طلبات يطلقها شخصChatGPT-User، Claude-User، Perplexity-User، meta-externalfetcher، Amzn-UserAnthropic: لا يستطيع Claude جلب صفحتك للإجابة عن سؤال مستخدم.Anthropic: تلتزم. OpenAI وAmazon: قد لا تنطبق كاملة. Perplexity: يتجاهلها عمومًا. Meta: قد يُتجاوز.

كل رمز مستقل عن الآخرين. فـ OpenAI تذكر أن كل إعداد من إعداداتها يعمل وحده، فيستطيع الموقع حظر GPTBot مع السماح لـ OAI-SearchBot، الزاحف الذي يقف وراء بحث ChatGPT. وحين يسمح الموقع لكليهما، تقول OpenAI إنها قد تستخدم عملية زحف واحدة (1) للغرضين.

وثمة 3 صفوف تحتاج إلى قراءة أدق.

بعض زواحف التدريب تفعل أكثر من التدريب. تقول Meta إن Meta-ExternalAgent يزحف لاستخدامات مثل تدريب النماذج الأساسية أو تحسين المنتجات بفهرسة المحتوى مباشرة. وتقول Amazon إن Amazonbot يحسّن منتجاتها وخدماتها وقد يُستخدم لتدريب نماذج الذكاء الاصطناعي لديها. أما وكيلا البحث لديهما، Meta-WebIndexer وAmzn-SearchBot، فلهما رموزهما الخاصة، وتقول Amazon إن Amzn-SearchBot لا يزحف إلى المحتوى لتدريب الذكاء الاصطناعي التوليدي.

رمزان (2) لا يزحفان أبدًا. تذكر Google أن Google-Extended ليس له وكيل مستخدم خاص به: فزواحف Google الحالية تجلب الصفحة، والرمز يحدد ما إذا كان المحتوى يمكن أن يدرّب نماذج Gemini المستقبلية وأن تستند إليه الإجابات في تطبيقات Gemini وفي ميزة Grounding with Google Search على Vertex AI. ولن ترى Google-Extended أبدًا في سجل الخادم. وتقول Apple الشيء نفسه عن Applebot-Extended: فـ Applebot هو الذي يجلب، والرمز لا يحدد إلا كيف يمكن لـ Apple استخدام ما جمعته.

الوكلاء الذين يطلقهم المستخدم يقعون جزئيًا خارج robots.txt. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، لأن شخصًا هو من بدأ الطلب. وتقول Perplexity إن Perplexity-User يتحكم في المواقع التي تستطيع طلبات المستخدمين الوصول إليها، وتقول أيضًا إن هذا الجالب يتجاهل قواعد robots.txt عمومًا. وتقدّم Meta وAmazon تحذيرات مشابهة بشأن Meta-ExternalFetcher وAmzn-User. أما Anthropic فهي الاستثناء: إذ يشمل تصريحها بأن روبوتاتها تلتزم بـ robots.txt الوكيلَ Claude-User.

أي سياسة تناسب موقعك؟

أجب عن الأسئلة بالترتيب؛ فكل مسار ينتهي عند أحد الأنماط أدناه.

نعملانعملانعملانعملاهل تريد الظهور فيإجابات البحث بالذكاءالاصطناعي؟اترك رموز البحث بالذكاءالاصطناعي تحت قواعدكالمعتادةاحظر رموز البحث بالذكاءالاصطناعيهل تقبل تدريب النماذجعلى صفحاتك العامة؟لا حاجة إلى مجموعاتللتدريباحظر GPTBot وClaudeBotوCCBotوmeta-externalagentوAmazonbotهل ترفض تدريب GoogleوApple أيضًا؟أضف Google-ExtendedوApplebot-Extendedلا تُدرج هذين الرمزينهل يجب رفض الطلبات التييطلقها المستخدمون؟لا يكفي robots.txt وحده:طبّق الرفض في الخادم أوCDNانشر الملف وتحقق منهمباشرة
Diagram source
flowchart TD
    A["هل تريد الظهور في إجابات البحث بالذكاء الاصطناعي؟"] -->|نعم| B["اترك رموز البحث بالذكاء الاصطناعي تحت قواعدك المعتادة"]
    A -->|لا| C["احظر رموز البحث بالذكاء الاصطناعي"]
    B --> D["هل تقبل تدريب النماذج على صفحاتك العامة؟"]
    C --> D
    D -->|نعم| E["لا حاجة إلى مجموعات للتدريب"]
    D -->|لا| F["احظر GPTBot وClaudeBot وCCBot وmeta-externalagent وAmazonbot"]
    F --> G["هل ترفض تدريب Google وApple أيضًا؟"]
    G -->|نعم| H["أضف Google-Extended وApplebot-Extended"]
    G -->|لا| I["لا تُدرج هذين الرمزين"]
    E --> J["هل يجب رفض الطلبات التي يطلقها المستخدمون؟"]
    H --> J
    I --> J
    J -->|نعم| K["لا يكفي robots.txt وحده: طبّق الرفض في الخادم أو CDN"]
    J -->|لا| L["انشر الملف وتحقق منه مباشرة"]

لماذا قد تعيد مجموعة مسمّاة فتح مسارات أغلقتها قواعد البدل

اعرف قاعدة المطابقة هذه قبل نسخ أي نمط. فوثائق Google عن robots.txt ومعيار RFC 9309، وهو معيار robots.txt، متفقان: يلتزم الزاحف بأكثر مجموعة تحديدًا تسمّيه فقط، ويتجاهل كل المجموعات الأخرى. والمجموعة المسمّاة لا ترث قواعد User-agent: *.

text
User-agent: *
Disallow: /cart/
Disallow: /account/


User-agent: OAI-SearchBot
Allow: /

بهذا الملف يستطيع OAI-SearchBot الزحف إلى /cart/ و/account/، لأن مجموعته هي الوحيدة التي يقرؤها. فمجموعة Allow حسنة النية أزالت قواعد المسارات الخاصة عن الزاحف الوحيد الذي تسمّيه. فإما أن تحذف المجموعة المسمّاة، فيعود الزاحف إلى *، وإما أن تكرر المسارات الخاصة داخلها.

ووقائع مطابقة أخرى تغيّر الملفات الحقيقية:

  • يمكن لعدة أسطر User-agent أن تشترك في مجموعة قواعد واحدة، وهذا يُبقي القائمة الطويلة من رموز الذكاء الاصطناعي مقروءة.
  • إذا سمّت مجموعتان (2) الزاحف نفسه، تُجمع قواعدهما. أما المجموعة المسمّاة فلا تُجمع أبدًا مع *.
  • تُطابق أسماء الرموز دون اعتبار لحالة الأحرف؛ أما المسارات فحساسة لحالة الأحرف، فـ Disallow: /Cart/ لا تشمل /cart/.
  • المسار الأطول مطابقةً هو الذي يفوز. وعند التعادل بين Allow وDisallow، يستخدم Google القاعدة الأقل تقييدًا.
  • الزاحف الذي لا توجد له مجموعة مسمّاة ولا مجموعة * لا قواعد عليه إطلاقًا.
  • كل مضيف يقدّم ملفه الخاص: www.example.com وblog.example.com يحتاجان إلى قواعد منفصلة، وتطلب Anthropic من المالكين إضافة الرفض في كل نطاق فرعي يريدون استبعاده.
  • تقول Apple إن Applebot يتبع مجموعة Googlebot حين يسمّي robots.txt الزاحف Googlebot ولا يسمّي Applebot. ولا تقول Apple ما إذا كان Applebot-Extended يرث القواعد بهذه الطريقة، فسمّه صراحةً.

ملفات robots.txt جاهزة للنسخ للسياسات الـ 3 الشائعة

يحتفظ كل نمط بمجموعة * عادية للمسارات الخاصة. استبدل /cart/ و/account/ بمساراتك، وعنوان خريطة الموقع بعنوانك.

السماح بالبحث بالذكاء الاصطناعي ورفض التدريب

text
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /


User-agent: *
Disallow: /cart/
Disallow: /account/


Sitemap: https://www.example.com/sitemap.xml

لا توجد مجموعة مسمّاة لزواحف البحث بالذكاء الاصطناعي، فهي تتبع * وتبقى خارج المسارات الخاصة دون أي أسطر إضافية. وهذه أسلم طريقة للسماح لها. ويرد CCBot في القائمة لأن Common Crawl تقدّم أرشيفها للباحثين والشركات والأفراد لأغراض البحث والتحليل، ومنها التدريب؛ فاحذفه إن أردت أن تكون صفحاتك في ذلك الأرشيف. وإن أردت استخدامات Meta أو Amazon لمنتجاتهما، فاحذف meta-externalagent أو Amazonbot، للأسباب المذكورة بعد الجدول. وتكتب Meta رموزها بأحرف صغيرة؛ فانسخ هذا الإملاء.

السماح لكل زواحف الذكاء الاصطناعي

text
User-agent: *
Disallow: /cart/
Disallow: /account/


Sitemap: https://www.example.com/sitemap.xml

لا حاجة إلى أسطر خاصة بالذكاء الاصطناعي: فكل زاحف بلا مجموعة مسمّاة يتبع *. والموقع الذي لا يملك ملف robots.txt إطلاقًا مفتوح أيضًا، إذ يعني غياب الملف غياب القواعد، لكنه لا يعلن أي سياسة ولا يسمّي أي خريطة موقع. وفي 45 موقعًا خارجيًا دققها SEOReport بين مايو وأكتوبر 2026، لم يكن لدى 3 مواقع (7%) ملف robots.txt.

حظر زواحف الذكاء الاصطناعي مع الإبقاء على البحث التقليدي

text
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /


User-agent: *
Disallow: /cart/
Disallow: /account/


Sitemap: https://www.example.com/sitemap.xml

وهنا 3 قيود. فقد لا يلتزم ChatGPT-User وPerplexity-User وmeta-externalfetcher وAmzn-User بأسطرها. وأي وكيل لا تسمّيه، بما في ذلك الوكلاء الذين يظهرون بعد نشرك للملف، يتبع *. أما AI Overviews وAI Mode من Google فيتحكم فيهما Googlebot وعناصر التحكم في المقتطفات في البحث، لا أي سطر في هذا الملف؛ والأسئلة الشائعة أدناه تشرح هذه الحالة.

حين لا تكفي قاعدة robots.txt

ينص معيار RFC 9309 صراحةً على أن قواعد robots.txt ليست شكلًا من أشكال تفويض الوصول. فالزاحف الذي يلتزم بالملف يبقى خارجًا؛ أما غيره فيستطيع طلب الصفحة، وأي عميل يستطيع انتحال اسم زاحف. فإن كان الرفض يجب أن يصمد، فطبّقه حيث تصل الطلبات: الخادم أو CDN أو جدار الحماية. ومعظم المشغّلين ينشرون قوائم عناوين IP لهذا الفحص. ويسمّي مرجعنا طريقة التحقق لدى كل مشغّل، وينبّه إلى المواضع التي لا توجد فيها طريقة، كما في Meta-ExternalAgent.

والطبقة نفسها تسبّب الإخفاق المعاكس. فقاعدة جدار حماية أو حماية من الروبوتات تتحدى OAI-SearchBot تُبطل السماح الوارد في robots.txt، وتوصي OpenAI المواقع التي تريد الظهور في بحث ChatGPT بالسماح بالطلبات القادمة من عناوينها المنشورة. ويشرح دليلنا إلى التحقق مما إذا كانت الحماية من الروبوتات تحجب حركة البحث بالذكاء الاصطناعي التي تريدها هذه المقارنة خطوة بخطوة.

كيف تتأكد من أن الملف الحي يقول ما قصدته

  1. اجلب الملف كما يجلبه الزاحف. شغّل curl -s https://www.example.com/robots.txt واقرأ المحتوى الحي، لا النسخة في مستودعك. فمنصة الاستضافة أو CDN التي تدير robots.txt قد تقدّم شيئًا مختلفًا. وافحص رمز الحالة أيضًا: يعامل Google أي استجابة 4xx غير 429 كأن ملف robots.txt غير موجود. وبعد استجابة 5xx، يتوقف Google عن الزحف إلى الموقع في أول 12 ساعة، ثم يستخدم آخر نسخة سليمة لديه مدة تصل إلى 30 يومًا.
  2. كرّر الفحص على كل مضيف يقدّم صفحات: www، والنطاق الجذري، وكل نطاق فرعي.
  3. اقرأ كل مجموعة مسمّاة بمعزل عن غيرها. لكل رمز أدرجته، اسأل: ماذا يستطيع هذا الزاحف جلبه لو كانت هذه المجموعة الوحيدة في الملف؟ فالمسارات الخاصة الغائبة عن مجموعة مسمّاة مفتوحة لذلك الزاحف.
  4. امنح الوقت قبل الحكم. تقول OpenAI إن التغيير يستغرق نحو 24 ساعة ليصل إلى أنظمتها؛ وتقول Perplexity وMeta إنه يستغرق ما يصل إلى 24 ساعة. ويخزّن Google ملف robots.txt مؤقتًا عادةً مدة تصل إلى 24 ساعة. وتذكر Amazon نحو 24 ساعة، وتقول أيضًا إن وكلاءها قد يستخدمون نسخة مخزّنة مؤقتًا من آخر 30 يومًا.
  5. افحص سجلاتك حسب الرمز، ثم حسب العنوان. طابق على الرمز، مثل GPTBot، لا على سلسلة وكيل المستخدم كاملة، وتحقق من عنوان المصدر مقابل القائمة المنشورة لدى المشغّل.

ملف robots.txt ملف على مستوى الموقع يقع خارج كل صفحة، فالفحص الذي يقرأ صفحة واحدة في كل مرة لا يراه؛ وتتناول مقالة ما الذي يراه وكيل الذكاء الاصطناعي فعلًا حين يفحص صفحتك هذه الفجوة. أما تشخيص SEOReport الكامل فيقرأ ملف robots.txt كما تقرؤه زواحف الذكاء الاصطناعي، ويخبرك هل تستطيع زواحف البحث بالذكاء الاصطناعي الوصول إليك، بمعزل عن أي رفض للتدريب اخترته. ويقرأ القواعد الخاصة بـ GPTBot وClaudeBot وCCBot وOAI-SearchBot وClaude-SearchBot وPerplexityBot وClaude-User بالاسم، ويُبلغ عن الحماية من الروبوتات أو التحديات التي قد توقف الزوار الآليين. ولمعرفة كيف كتبت المواقع المدققة هذه القواعد فعلًا، راجع بيانات تدقيقنا لملفات robots.txt مع زواحف الذكاء الاصطناعي، ولما يتجاوز وكلاء الذكاء الاصطناعي في robots.txt، راجع دليل robots.txt والوصول للزحف.

الأسئلة الشائعة

هل يؤدي حظر GPTBot إلى إزالة موقعي من بحث ChatGPT؟

لا. تذكر OpenAI أن GPTBot وOAI-SearchBot إعدادان مستقلان. فـ GPTBot يتحكم في التدريب؛ وOAI-SearchBot يحدد ما إذا كان يمكن عرض صفحاتك في إجابات بحث ChatGPT. فإن حظرت GPTBot وحده، يبقى لبحث ChatGPT الوصول الذي يحتاجه.

هل يُبقي حظر Google-Extended صفحاتي خارج AI Overviews؟

لا. تسمّي وثائق Google عن ميزات الذكاء الاصطناعي وموقعك، التي راجعناها في أكتوبر 2026، قواعد robots.txt الخاصة بـ Googlebot أداةً للتحكم في الوصول، وتذكر nosnippet وdata-nosnippet وmax-snippet وnoindex طرقًا لتقييد ما يظهر. ويجب أن تكون الصفحة مفهرسة ومؤهلة للمقتطف لتكون رابطًا داعمًا في AI Overviews أو AI Mode. أما Google-Extended فيتحكم في تدريب Gemini والاستناد إليه، لا في ميزات البحث.

هل يؤدي رفض التدريب إلى إزالة المحتوى الذي جُمع سابقًا؟

تصف صفحات المشغّلين التي نتابعها ما تشير إليه القاعدة منذ قراءتها. فـ Anthropic مثلًا تقول إن تقييد ClaudeBot يشير إلى أن مواد الموقع المستقبلية ينبغي استبعادها من التدريب. ولا تصف أيٌّ منها إزالة المحتوى المجموع سابقًا عبر robots.txt. وتحتفظ Common Crawl بشكل منفصل بسجل رفض (Opt-Out Ledger) لطلبات الرفض القانونية التي تلقّتها.

هل أحتاج إلى قاعدة لكل زاحف ذكاء اصطناعي؟

لا. سمِّ فقط الوكلاء الذين تريد معاملتهم بشكل مختلف عن *. فكل زاحف غير مسمّى يتبع مجموعة *. والقائمة الطويلة من المجموعات المسمّاة لا تكون أكثر أمانًا إلا حين تحمل كل مجموعة المسارات الخاصة التي تحتاجها.

احصل على التشخيص الكامل لموقعك

تقرير مدعوم بالأدلة وخطة عمل مرتبة حسب الأولوية، ضمن خطة بأرصدة شهرية.

شاهد الفيلمعرض الأسعار