فحص قابلية الزحف لـGEO المجاني
اعرف هل تستطيع محركات الذكاء الاصطناعي فعلًا الزحف إلى صفحاتك وعرضها، قبل أن تقرّر هل تقرؤك وتثق بك وتستشهد بك.
ما هي قابلية الزحف لـGEO؟
يبدأ تحسين الظهور في محركات الذكاء الاصطناعي التوليدي (GEO) بسؤال واحد: هل يصل الذكاء الاصطناعي إلى محتواك أصلًا؟ على زواحف مثل GPTBot وClaudeBot وPerplexityBot أن تجلب الصفحة وتعرضها قبل أن يظهر أي جزء منها في إجابة. فإن كانت محظورة أو كان المحتوى لا يُحمَّل إلا عبر JavaScript، فأنت غير مرئي.
يختبر فحص قابلية الزحف لـGEO قواعد robots.txt، ووصول زواحف الذكاء الاصطناعي، واستجابات الخادم، وهل يظهر محتواك الأساسي دون JavaScript. ويخبرك بلغة بسيطة هل تستطيع المحركات التي تقف وراء إجابات الذكاء الاصطناعي قراءة موقعك أصلًا.
كيف تعمل الأداة
الصق الرابط
أدخل أي صفحة، ونحاكي كيف تطلبها زواحف الذكاء الاصطناعي وتحمّلها.
نختبر وصول الزواحف
نفحص robots.txt وقواعد وكلاء المستخدم (user-agent) الخاصة بالذكاء الاصطناعي ورموز الحالة والمحتوى المعتمد على JavaScript.
احصل على قائمة الإصلاحات
اعرف بالضبط ما الذي يحجب محركات الذكاء الاصطناعي وكيف تفتح لها محتواك.
الأسئلة الشائعة
ما زواحف الذكاء الاصطناعي التي يحاكيها الفحص؟
لماذا قد تفشل محركات الذكاء الاصطناعي في الزحف إلى موقعي؟
هل يؤثر عرض JavaScript في الظهور في الذكاء الاصطناعي؟
هل يضرّ حظر زواحف الذكاء الاصطناعي بظهوري؟
كيف أعرف هل GPTBot محظور في موقعي؟
هل أستطيع السماح لبعض زواحف الذكاء الاصطناعي وحظر غيرها؟
ما الفرق بين قابلية الزحف وقابلية الفهرسة؟
هل يزيد السماح لزواحف الذكاء الاصطناعي الحمل على خادمي؟
هل تحظر شبكة CDN أو جدار WAF زواحف الذكاء الاصطناعي؟
ما هو llms.txt وهل أضيفه؟
ما علاقة قابلية الزحف لـGEO بقابلية الزحف في SEO؟
هل يحمي حظر زواحف الذكاء الاصطناعي محتواي من استخدامه في التدريب؟
الدليل الكامل لقابلية الزحف لـGEO: هل تستطيع محركات الذكاء الاصطناعي قراءة موقعك؟
يبدأ تحسين الظهور في محركات الذكاء الاصطناعي التوليدي (GEO) من المستوى الأساسي: هل يرى الذكاء الاصطناعي محتواك أصلًا؟ قبل أن يقرر أي نموذج هل يثق بصفحاتك أو يلخّصها أو يستشهد بها، يجب أن ينجح زاحف في جلبها وعرضها. ترسل محركات الذكاء الاصطناعي زواحف مخصصة: GPTBot من OpenAI، وClaudeBot من Anthropic، وPerplexityBot من Perplexity، وGoogle-Extended لـGemini، ولكل منها سلسلة user-agent خاصة. فإن ردّ خادمك أو ملف robots.txt أيًّا منها، فلن يستطيع ذلك المحرك إدراج محتواك في إجاباته مهما كانت جودة كتابته.
المشكلة أن معظم المواقع أُعدّت لزواحف محركات البحث لا لزواحف الذكاء الاصطناعي. فملف robots.txt الذي عُدّل آخر مرة في 2019 لا يراعي على الأرجح GPTBot (الذي ظهر في 2023) ولا ClaudeBot. ومن دون قاعدة Allow صريحة، تحظر بعض إعدادات الخوادم افتراضيًا الوكلاء غير المعروفين. والنتيجة صامتة: تبدو صفحاتك متاحة في المتصفح، وترتيبك في SEO سليم، لكن محركات الذكاء الاصطناعي تتلقى 403 أو يردّها robots.txt، ولن تعرف ذلك ما لم تختبره تحديدًا.
المحتوى المعروض عبر JavaScript هو العائق الكبير الثاني أمام قابلية الزحف لـGEO. فكثير من أطر العمل الحديثة (React وVue وAngular) ترسل هيكل HTML شبه فارغ وتحمّل المحتوى الفعلي في المتصفح بعد تنفيذ JavaScript. يعالج Googlebot التقليدي ذلك بمسار عرض من مرحلتين، أما كثير من زواحف الذكاء الاصطناعي فلا. فإن كانت قائمة التنقل أو أوصاف المنتجات أو محتوى المدونة أو إجابات الأسئلة الشائعة لا تظهر إلا بعد تشغيل JS، فهي غير مرئية للزواحف التي لا تنفّذ JavaScript. والعرض من جهة الخادم (SSR) أو التوليد الثابت يزيل هذا الصنف من المشكلات كليًا.
وتكتمل قائمة أشيع إخفاقات قابلية الزحف لـGEO بسلاسل إعادة التوجيه وصفحات 404 المقنّعة (soft 404) وجدران تسجيل الدخول. فسلسلة من 3 عمليات إعادة توجيه أو أكثر قبل الصفحة النهائية قد تدفع الزاحف إلى التوقف قبل جلب أي محتوى. والصفحات التي تعيد 200 OK لكنها تعرض «المحتوى غير موجود» أو نموذج تسجيل دخول تهدر ميزانية الزحف ولا تقدّم محتوى مفيدًا. ويجب أن يحاكي اختبار قابلية الزحف لـGEO وكلاء الذكاء الاصطناعي تحديدًا، فزاحف SEO عادي بإعدادات Googlebot سيفوّت كل هذه الإخفاقات الخاصة بالذكاء الاصطناعي.
دليل إصلاح قابلية الزحف لـGEO
ثماني خطوات محددة لتضمن أن يصل كل محرك ذكاء اصطناعي كبير إلى صفحاتك ويقرأها.
دقّق robots.txt بحثًا عن وكلاء الذكاء الاصطناعي
افتح ملف robots.txt وابحث عن GPTBot وClaudeBot وPerplexityBot وGoogle-Extended. إن كانت محظورة صراحةً بـDisallow، أو غائبة عن قاعدة Allow في موقع يحظر الجميع بحرف البدل، فلن تستطيع محركات الذكاء الاصطناعي الزحف إليك. أضف قاعدة Allow صريحة لكل زاحف تريد السماح له.
اختبر استجابات الخادم بترويسات وكلاء الذكاء الاصطناعي
استخدم curl أو أداة مشابهة لطلب صفحاتك بكل سلسلة user-agent خاصة بالذكاء الاصطناعي. ابحث عن 403 أو 429 أو حلقات إعادة توجيه لا تظهر إلا لوكلاء بعينهم. فبعض إعدادات WAF وخدمات الحماية من الروبوتات تحظر الوكلاء غير المألوفين افتراضيًا، ومنهم زواحف الذكاء الاصطناعي.
حدّد كتل المحتوى التي لا تظهر إلا بـJavaScript
عطّل JavaScript في متصفحك وزُر كل صفحة أساسية. أي محتوى يختفي، كقائمة التنقل أو قوائم المنتجات أو نصوص المقالات أو الأسئلة الشائعة، غير مرئي لزواحف الذكاء الاصطناعي التي لا تنفّذ JS. ابدأ بنقل هذا المحتوى إلى HTML يُعرض من الخادم أو يُولَّد ثابتًا.
أضف ملف llms.txt أو حدّثه
llms.txt معيار ناشئ يخبر زواحف الذكاء الاصطناعي بالصفحات المرجعية، وما يمكن إدراجه في بيانات التدريب، وما يضم المحتوى الأعلى قيمة. ضعه في جذر موقعك (/llms.txt) وحدّثه مع تطور محتواك.
دقّق سلاسل إعادة التوجيه في الصفحات المهمة
استخدم أداة فحص إعادة التوجيه لتتبّع السلسلة كاملة لأهم روابطك. أي سلسلة تتجاوز قفزتين يجب اختصارها إلى إعادة توجيه مباشرة واحدة. وانتبه خاصة لسلاسل HTTP إلى HTTPS وwww إلى غير www التي كثيرًا ما تُغفَل.
تأكد أن الصفحات الأساسية تعيد 200 OK
أجرِ زحفًا كاملًا ونبّه إلى أي صفحة تعيد رمز حالة غير 200، أو تعيد 200 دون محتوى ذي معنى. وصفحات soft 404، التي تعيد 200 لكنها تقول «الصفحة غير موجودة» أو تطلب تسجيل الدخول، مكلفة خاصة لأنها تستهلك ميزانية الزحف دون أي محتوى.
اختبر بعدة وكلاء للذكاء الاصطناعي
لا تفترض أن السماح لـGPTBot يكفي. لكل محرك ذكاء اصطناعي زاحفه وسلسلة user-agent الخاصة به، وقد تحظر إعدادات خادمك بعضها وتسمح لغيرها. اختبر GPTBot وClaudeBot وPerplexityBot وGoogle-Extended وApplebot-Extended كلًّا على حدة.
راقب قابلية الزحف بفحص GEO
قابلية الزحف لـGEO ليست خاصية ثابتة، فهي تتغير حين تعدّل robots.txt أو تنشر تغييرات في إطار العمل أو تضيف CDN أو WAF. أجرِ فحص قابلية الزحف لـGEO بعد كل نشر تقني مهم لتكتشف التراجعات قبل أن تؤثر في ظهورك في الذكاء الاصطناعي.
مصطلحات قابلية الزحف لـGEO
تعريفات بلغة بسيطة لكل مصطلح تقني في قابلية زحف محركات الذكاء الاصطناعي.
- GPTBot
- زاحف الويب من OpenAI، يجمع المعلومات لـChatGPT والنماذج المرتبطة به. يُعرف بسلسلة user-agent «GPTBot»، ويمكن السماح له أو حظره في robots.txt بتوجيه «User-agent: GPTBot».
- ClaudeBot
- زاحف الويب من Anthropic، يجمع المعلومات لنماذج Claude. يُعرف بسلسلة user-agent «ClaudeBot»، ويجب السماح له صراحةً في robots.txt لتتيح لـAnthropic الزحف إلى موقعك.
- PerplexityBot
- زاحف الويب من Perplexity AI، يخدم البحث المباشر في الويب الذي تقوم عليه إجابات Perplexity. وخلافًا لبعض الزواحف، يزحف PerplexityBot إلى الصفحات أثناء عمليات البحث المباشرة، فله أهمية خاصة للظهور الآني في الذكاء الاصطناعي.
- Google-Extended
- آلية Google لرفض استخدام المحتوى في تدريب الذكاء الاصطناعي. ضبط «User-agent: Google-Extended / Disallow: /» يمنع Google من استخدام محتواك لتدريب نماذج Gemini وBard، مع بقاء Googlebot مسموحًا لفهرسة البحث.
- GEO (تحسين الظهور في محركات الذكاء الاصطناعي التوليدي)
- جعل المحتوى متاحًا وقابلًا للتحليل وموثوقًا للمحركات التوليدية التي تصوغ إجاباتها من محتوى الويب. يوسّع GEO مفهوم SEO التقليدي بالتركيز على وصول زواحف الذكاء الاصطناعي وقابلية استخراج المحتوى.
- robots.txt
- ملف نصي في جذر النطاق يخبر الزواحف بالصفحات أو المسارات المسموح لها أو الممنوعة عنها. تفحص محركات الذكاء الاصطناعي robots.txt قبل الزحف، وتلتزم الزواحف الموثوقة بتوجيهات Disallow.
- User-Agent
- سلسلة تُرسل في ترويسات طلب HTTP وتعرّف بالمتصفح أو الروبوت أو الزاحف صاحب الطلب. تستخدمها الخوادم وملفات robots.txt للتمييز بين Googlebot وGPTBot والمتصفحات البشرية وغيرها.
- العرض عبر JavaScript
- تنفيذ JavaScript في الصفحة لتوليد HTML النهائي. الصفحات التي تحتاج إلى هذا العرض قد تكون غير مرئية جزئيًا أو كليًا لزواحف الذكاء الاصطناعي التي لا تنفّذ JavaScript قبل قراءة المحتوى.
- العرض من جهة الخادم (SSR)
- بنية ويب يُولَّد فيها HTML الصفحة كاملًا على الخادم قبل إرساله إلى المتصفح. محتوى SSR مقروء فورًا لأي زاحف، ومنها زواحف الذكاء الاصطناعي التي لا تنفّذ JavaScript.
- llms.txt
- ملف معياري ناشئ (يوضع في /llms.txt) يزوّد نماذج اللغة بإرشادات منظَّمة عن محتوى الموقع: أهم الصفحات، وما يصلح للإدراج، والحقائق الأساسية عن المؤسسة.
- ميزانية الزحف
- عدد الصفحات التي يجلبها الزاحف من موقع خلال مدة معينة. إهدارها على سلاسل إعادة التوجيه وصفحات soft 404 والروابط المحظورة يقلّل ما يفهرسه الزاحف من محتوى قيّم.
- توجيه Disallow
- تعليمة في robots.txt تمنع وكيل مستخدم مسمّى من الوصول إلى مسار محدد. مثال: «User-agent: GPTBot / Disallow: /» يمنع GPTBot من الزحف إلى الموقع كله.
من يحتاج إلى فحص قابلية الزحف لـGEO
المواقع والحالات التي يكون فيها فشل زحف الذكاء الاصطناعي أرجح وأعلى كلفة.
مواقع SPA وReact/Next.js
تطبيقات الصفحة الواحدة التي تعتمد كثيرًا على العرض عبر JavaScript في المتصفح هي الأكثر عرضة لأن يبقى محتواها غير مرئي لزواحف الذكاء الاصطناعي. وأي صفحة يُحمَّل محتواها عبر طلبات API بعد إرسال HTML الأول تحتاج إلى مراجعة دقيقة للعرض من الخادم أو التوليد الثابت.
المؤسسات ذات ملفات robots.txt المعقدة
كثيرًا ما تتولى فرق متعددة على مدى سنوات صيانة ملف robots.txt في مواقع المؤسسات الكبيرة، فتتعارض القواعد ويقع حظر غير مقصود. وقاعدة Disallow واحدة في غير موضعها قد تستبعد أقسامًا كاملة من زحف الذكاء الاصطناعي بصمت.
الناشرون الذين يتحكمون في تدريب الذكاء الاصطناعي
يحتاج الناشرون الذين يريدون التحكم في استخدام محتواهم لتدريب الذكاء الاصطناعي إلى معرفة الزواحف التي تزورهم بدقة. ويعرض فحص قابلية الزحف لـGEO حالة الوصول الحالية لكل زاحف ذكاء اصطناعي كبير، فيصبح قرار السماح أو الرفض مقصودًا وسهلًا.
المتاجر الإلكترونية التي تحمّل منتجاتها بـJS
صفحات تفاصيل المنتجات التي تحمّل الأسعار والتوفّر والأوصاف عبر JavaScript شائعة في التجارة الإلكترونية. فإن كانت هذه العناصر غير مرئية لزواحف الذكاء الاصطناعي، فلن تظهر المنتجات في إجابات التسوّق بالذكاء الاصطناعي ولا في الاستشهاد بالعلامة.
الوكالات التي تدقّق مواقع عملائها
تحتاج الوكالات التي تطلق مواقع عملائها أو تنقلها إلى التحقق من قابلية الزحف لـGEO ضمن ضبط الجودة قبل الإطلاق. ويكشف الفحص مشكلات الوصول قبل أن تُضعف ظهور العميل في الذكاء الاصطناعي بصمت لأسابيع أو أشهر بعد الإطلاق.
المواقع الجديدة التي تضع سياستها تجاه الذكاء الاصطناعي
أمام المؤسسات التي تبني مواقع جديدة فرصة لوضع سياسة وصول الذكاء الاصطناعي من اليوم الأول: أي الزواحف يُسمح لها وبأي أقسام، وهل يُنشر ملف llms.txt، وكيف يُنظَّم المحتوى لأعلى قابلية استخراج.
افحص الموقع كله لا ملفًا واحدًا
تفحص هذه الأداة المجانية نقطة واحدة. أما تدقيق Site Health في Rankfender فيُجري نحو 60 فحصًا لـSEO وGEO وAEO على صفحاتك، ويجمعها في درجة واحدة، ويحوّل كل مشكلة إلى مهمة.