هل يُسمح لزواحف الذكاء الاصطناعي بقراءة موقعك؟

ما هو زاحف الذكاء الاصطناعي؟

زواحف الذكاء الاصطناعي روبوتات تشغّلها شركات مثل OpenAI وAnthropic وGoogle لقراءة صفحات الويب العامة وتغذية نماذجها ومحركات الإجابة لديها. فإن استطاعت قراءة موقعك، أمكن أن تظهر علامتك التجارية في ChatGPT وClaude وPerplexity وAI Overviews.

ملف robots.txt ملف نصي بسيط في جذر نطاقك، يخبر هذه الروبوتات بما يحق لها الوصول إليه وما لا يحق. وسطر Disallow واحد قد يُخرجك من إجابات الذكاء الاصطناعي دون أن تنتبه.

كيف يتحكم robots.txt في زواحف الذكاء الاصطناعي في 2026

ملف robots.txt ملف نصي بسيط في جذر نطاقك، يخبر الروبوتات الآلية بالأجزاء التي يحق لها جلبها من موقعك والأجزاء التي لا يحق لها. طوال عقدين حكم هذا الملف زواحف محركات البحث مثل Googlebot. واليوم صارت له مهمة ثانية لا تقل أهمية: تحديد زواحف الذكاء الاصطناعي المسموح لها بقراءة محتواك، أي الروبوتات التي تغذي ChatGPT وPerplexity وClaude والإجابات التوليدية في Google.

تشغّل شركات الذكاء الاصطناعي وكلاء مستخدم (user-agents) مختلفة لأغراض مختلفة. تستخدم OpenAI الزاحف GPTBot لجمع بيانات التدريب، وOAI-SearchBot لتشغيل إجابات البحث المباشرة في ChatGPT، وChatGPT-User للجلب عند الطلب حين يطلب مستخدم من ChatGPT فتح رابط. وتشغّل Anthropic الزاحف ClaudeBot والزاحف الأقدم anthropic-ai. وتستخدم Perplexity الزاحف PerplexityBot. أما Google فتستخدم Google-Extended رمزًا لرفض تدريب Gemini، بمعزل عن زاحف البحث Googlebot. ويغذي CCBot التابع لـCommon Crawl نماذج كثيرة، وتكمل القائمةَ Bytespider (ByteDance) وAmazonbot وApplebot-Extended.

الفكرة الأساسية أن هذه الروبوتات تؤدي مهام مختلفة، لذا نادرًا ما يكون الحجب الشامل هو القرار الصحيح. حجب زاحف التدريب يحمي محتواك من أن تمتصه النماذج، لكن حجب روبوت استرجاع مباشر مثل OAI-SearchBot أو PerplexityBot قد يُخرجك بصمت من إجابات الذكاء الاصطناعي التي يراها مشتروك، وهو ما يعادل في عالم الذكاء الاصطناعي إزالة موقعك من فهرس Google. ومعظم العلامات التجارية تريد العكس: أقصى ظهور في إجابات الذكاء الاصطناعي، مع تحكم انتقائي في الكشط الجماعي.

ملف robots.txt توجيه لا جدار صلب. تلتزم به الزواحف الموثوقة من OpenAI وAnthropic وPerplexity وGoogle، لكنه يعتمد على اختيار الروبوت أن يطيعه. وهو الطريقة المعيارية السهلة للتعبير عن تفضيلاتك، وحين تقرنه بملف llms.txt تمنح أنظمة الذكاء الاصطناعي الملتزمة خريطة نظيفة للمحتوى الذي تريدها أن تستخدمه أكثر من غيره.

robots.txt

ملف نصي بسيط في جذر نطاقك (yoursite.com/robots.txt) يخبر الزواحف بالمسارات التي يحق لها جلبها وتلك التي لا يحق. وهو الطريقة المعيارية للتعبير عن تفضيلات الزحف لروبوتات البحث والذكاء الاصطناعي.

User-agent

المعرّف الذي يرسله الروبوت ليعلن هويته. في robots.txt يسمّي كل سطر User-agent الروبوت الذي تنطبق عليه كتلة القواعد، مثل GPTBot أو PerplexityBot.

Disallow

توجيه يطلب من وكيل مستخدم محدد ألّا يجلب المسار المذكور. فالسطر Disallow: / يحجب الموقع كله عن ذلك الروبوت، والسطر Disallow: /private/ يحجب ذلك المجلد فقط.

Allow

توجيه يسمح صراحة بمسار ما، ويُستخدم لاستثناء مسارات داخل قاعدة Disallow أوسع، أو لمنح روبوت معيّن وصولًا واضحًا.

Crawl-delay

توجيه اختياري يطلب حدًا أدنى من الثواني بين طلبات الروبوت، للحدّ من الضغط على الخادم. تلتزم به بعض الزواحف، وليس كل روبوتات الذكاء الاصطناعي.

GPTBot

زاحف OpenAI الذي يجمع محتوى الويب لتدريب نماذجها. حجبه يُخرج محتواك من التدريب، لكنه وحده لا يُخرجك من إجابات البحث المباشرة في ChatGPT.

Google-Extended

رمز في robots.txt تتيح لك Google من خلاله رفض استخدام محتواك في تدريب Gemini وتأسيس إجاباته، بمعزل عن زاحف Googlebot الذي يشغّل البحث. وحجبه لا يؤثر في ترتيبك في بحث Google.

llms.txt

ملف نصي مقترح يسرد صفحاتك الرئيسية ووثائقك بصيغة نظيفة تقرؤها الآلة، لتجد أنظمة الذكاء الاصطناعي أهم محتواك. وهو يكمّل robots.txt ولا يحل محله.

زاحف الذكاء الاصطناعي (AI crawler)

روبوت تشغّله شركة ذكاء اصطناعي لجلب صفحات الويب للتدريب أو الاسترجاع المباشر أو التصفح عند الطلب. ومن أمثلته GPTBot وOAI-SearchBot وClaudeBot وPerplexityBot وCCBot.

روبوت الاسترجاع المباشر

زاحف ذكاء اصطناعي يجلب الصفحات وقت الإجابة ليبني ردّه عليها، مثل OAI-SearchBot وChatGPT-User وPerplexityBot. وحجب هذه الروبوتات قد يُخرجك من إجابات الذكاء الاصطناعي.

زاحف التدريب

روبوت يجمع المحتوى لتدريب نموذج لا للإجابة عن سؤال مباشر، مثل GPTBot وGoogle-Extended وCCBot وBytespider.