KOSTENLOSES TOOL

Dürfen KI-Crawler auf Ihre Website?

Prüfen Sie mit einem Klick, ob GPTBot, ClaudeBot, Google-Extended und andere KI-Crawler Ihre Seiten lesen dürfen — oder ob Ihre robots.txt sie still blockiert.

Was ist ein KI-Crawler?

KI-Crawler sind Bots von Unternehmen wie OpenAI, Anthropic und Google, die öffentliche Seiten lesen, um ihre Modelle und Antwort-Engines zu speisen. Können sie Ihre Website lesen, kann Ihre Marke in ChatGPT, Claude, Perplexity und AI Overviews erscheinen.

Ihre robots.txt — eine Textdatei im Stammverzeichnis Ihrer Domain — sagt diesen Bots, worauf sie zugreifen dürfen. Eine einzige Disallow-Zeile kann Sie still aus KI-Antworten entfernen.

So funktioniert es

Domain eingeben

Geben Sie Ihre Webadresse ein. Wir rufen Ihre öffentliche /robots.txt ab.

Wir lesen die Regeln

Wir gleichen jeden großen KI-Crawler mit Ihren User-agent- und Disallow-Regeln ab.

Sehen, wer blockiert ist

In Sekunden ein klarer Status erlaubt / blockiert für jeden KI-Crawler.

Häufige Fragen

Was ist GPTBot?

GPTBot ist der Webcrawler von OpenAI. Er liest öffentliche Seiten, um die Modelle zu trainieren und zu speisen. Ihn in der robots.txt zu blockieren, verhindert, dass OpenAI Ihre Inhalte nutzt.

Sollte ich KI-Crawler erlauben?

Für die meisten Marken: ja. Sie zu erlauben, lässt Ihre Inhalte in den Antworten von ChatGPT, Claude und Perplexity erscheinen — eine schnell wachsende Quelle für Sichtbarkeit.

Entfernt mich ein Block in robots.txt aus ChatGPT?

ChatGPT-User und GPTBot zu blockieren, stoppt Crawling und Live-Abruf und senkt Ihre Zitate. Bereits Gelerntes wird nicht gelöscht, aber Ihre künftige Sichtbarkeit sinkt.

Was ist Google-Extended?

Google-Extended ist ein robots.txt-Token, das steuert, ob Google Ihre Inhalte für Gemini und KI-Funktionen nutzen darf — getrennt von der normalen Google-Suche-Indexierung.

Worin unterscheidet sich das von Rankfender?

Dieses Tool prüft den Zugriff. Rankfender geht weiter: Es misst, ob KI-Engines Ihre Marke wirklich nennen, und zeigt, wie Sie diese Zitate gewinnen.

Erlaubt heißt nicht genannt

Zugriff ist nur der erste Schritt. Sehen Sie, ob KI-Engines Ihre Marke wirklich empfehlen — und wie Sie das erreichen.

Kostenlosen RAIVE-Score holen