التحقق مما إذا كان حماية الروبوتات تمنع حركة مرور بحث الذكاء الاصطناعي التي تريدها
تحقق من المزود المقصود، الاستجابة الحية والسياسة التي تتحكم فيها. افصل استرجاع البحث، تدريب النموذج والوصول الموجه للمستخدم قبل تغيير قواعد الروبوتات.
يمكن لمالك الموقع السماح باكتشاف البحث وما زال يتلقى تقريرًا بأن الطلب تم حظره. يبدأ حل هذا التناقض الظاهري بالطلب الدقيق: أي مزود كان يحاول الوصول إلى أي صفحة، ولأي غرض، وما هي الاستجابة التي تلقاها? يمكن أن يوفر تحليل تقرير SEO أدلة على مشكلة وصول للتحقيق. اعتبر ذلك الملاحظة كبداية تشخيص. السياسة لمزود معين وسلوك طلب معين كلاهما مهمان.
قرر أي غرض تنوي السماح به
تستخدم خدمات الذكاء الاصطناعي وكلاء مختلفين لمهام مختلفة. توثيق OpenAI OAI-SearchBot للبحث، GPTBot لتجميع تدريب النموذج المحتمل وChatGPT-User للطلبات الموجهة للمستخدم. يوضح توثيق الزاحف أن إعدادات البحث والتدريب مستقلة. يميز [توثيق الزاحف] من Anthropic (https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) أيضًا Claude-SearchBot، ClaudeBot وClaude-User. سجل الخيار المقصود للمزود والغرض الذي تهتم به. إن رفض التدريب ليس سببًا لتصنيف سياسة البحث للموقع معيبة. بالنسبة إلى Google، تحقق من تحكم الذكاء الاصطناعي التوليدي للبحث على خاصية Search Console الصحيحة. إنه خيار مشاركة على مستوى الحساب بالإضافة إلى الحالة التقنية للموقع. تحقق من الإعدادات الموروثة وكذلك الاختيارات الصريحة.
قارن السياسة مع الاستجابة المرسلة
راجع ملف robots.txt العام، قواعد الاستضافة أو CDN والاستجابة الفعلية للصفحة. يجيبون على أسئلة مختلفة. يعلن robots.txt سياسة الزاحف؛ يمكن أن تمنع قاعدة وصول طلبًا مسموحًا منه الحصول على الصفحة. فحص URL مهم ممثل وسجل الوجهة النهائية، الحالة والمحتوى الملحوظ. لا تزال صفحة التحدي التي تُقدَّم مع حالة ناجحة صفحة تحدي. على العكس، لا يثبت وجود عنصر CAPTCHA في نموذج اتصال يعمل أن الصفحة بأكملها قد تم حظرها. دليل الوصول للزحف يساعد في تنظيم مراجعة السياسة المقصودة وعناوين URL المتأثرة.
| يتلقى موفر البحث المحدد تحديًا | لم يتمكن الطلب الملاحظ من استرجاع الصفحة المقصودة | أي قاعدة تسببت في ذلك وما إذا كان السلوك يتكرر |
| يتلقى طلب اختبار محلي 403 | تم رفض طلب الاختبار | ما إذا كان موفرًا موثوقًا يتلقى نفس الاستجابة |
| تحتوي الصفحة على عنصر CAPTCHA | تتضمن الصفحة عنصر تحكم للتحقق البشري | ما إذا كان المحتوى المطلوب قد تم حجزه فعليًا |
| يسمح Robots.txt بالزاحف المقصود | تسمح سياسة الزحف المعلنة بالوصول | ما إذا كانت قواعد الاستضافة تسلم الصفحة |
هذه تفسيرات توضيحية. احتفظ بالملاحظة الحقيقية بجانب التحقيق الفعلي في القاعدة.
تحقق من هوية الموفر قبل تغيير استثناء
تسمية وكيل المستخدم سهلة النسخ. استخدم إرشادات التعريف الموثقة للموفر وأدوات التحقق المدعومة من موفر الاستضافة الخاص بك عند اتخاذ قرار بقبول الحركة. يمكن لاختبار مع تسمية مكررة أن يكشف كيف يتم التعامل مع الطلب، لكنه لا يمكن أن يثبت أن الطلب جاء من الموفر. اختر أصغر تغيير ينفذ السياسة المقصودة. لا يتطلب مشكلة وصول بحث شرعية إزالة كل الحماية من موقع ويب. احتفظ بحدود المصادقة وبيانات العميل، ثم تحقق من أن المحتوى العام المقصود يُقدَّم للقراء المقصودين.
أعد التحقق بعد تغيير الاستضافة أو السياسة
احفظ الملاحظة الأصلية، وسجِّل الإعداد المتغيّر ثم أعد الطلب المعني. أدرج جسم الصفحة في الفحص حتى لا يُمكن لحالة رمز الحالة المتغيّر إخفاء تحدٍ أو استجابة فارغة. قد تتغيّر إعدادات المزود وخيارات الحساب. اقرأ الإعداد الحالي على الموقع الفعلي بدلاً من استنتاجه من إعلان المزود أو ملف التكوين في المستودع. على منصة مُدارة، تأكد أيضاً من الطبقة التي تُقدِّم ملف robots.txt العام. يوسع اختبار قبول الوكيل الأوسع agent acceptance test هذا المراجعة من قراءة صفحة إلى إكمال مهمة مسموح بها. يحتاج وصول البحث، والمحتوى القابل للاستخدام، والعملية الناجحة كلٌ إلى ملاحظة خاصة به.
لاحظ الاكتشاف بعد تأكيد الوصول
بمجرد أن يستطيع القارئ المقصود استرجاع الصفحة، اسمح بتأخيرات معالجة وتقرير المزود. راجع انطباعات الذكاء الاصطناعي المخصصة أو الاستشهادات حيثما تتوفر، وزيارات الإحالة القابلة للتحديد والإجراءات المفيدة للمنتج بشكل منفصل. يعيد الوصول المُستعاد إصلاحاً فنياً. يحدد استشهاد لاحق أو زيارة عميل نتيجة مختلفة. إن احتفاظك بالسجلات الاثنين يمنح الفريق حساباً دفاعياً لما تحسَّن وأين قد يكون العمل الإضافي ذا قيمة.
انظر كيف يصنف موقعك
احصل على تقرير مجاني مدعوم بالذكاء الاصطناعي SEO مع نتائج قابلة للتنفيذ وإصلاحات أولوية لموقعك.
لا حاجة للتسجيل.