Glossar / Begriff

    robots.txt, im SEO-Kontext.

    robots.txt steuert, welche URLs Suchmaschinen-Bots crawlen dürfen. Erste Crawl-Schutz-Schicht und Budget-Steuerung, aber niemals ein Index-Verbot.

    Eine Text-Datei im Domain-Root, die Suchmaschinen-Bots vorschreibt, welche URLs sie crawlen dürfen und welche nicht. robots.txt ist eine Crawl-Steuerung, kein Index-Verbot: Eine Sub-Page, die per robots.txt blockiert ist, kann trotzdem indexiert werden, wenn sie von außen verlinkt wird. Zählt für jede Site, die Crawl-Budget steuern oder bestimmte Bereiche vor Bots verbergen will. Beispiel: Ein DACH-Shop blockiert Filter-URLs und interne Such-Ergebnisse per robots.txt und gewinnt damit Crawl-Budget für tiefe Produkt-Kategorien zurück. Bei uns ist robots.txt-Pflege Teil jeder Indexierungs-Architektur.

    Beispiele aus dem Mittelstand

    • Ein DACH-Shop blockiert per robots.txt alle Filter-URLs und gewinnt damit Crawl-Budget für tiefe Produkt-Kategorien zurück.
    • Ein SaaS-Anbieter blockiert per robots.txt das Backend-Verzeichnis und verhindert damit unbeabsichtigte Indexierung interner Tools.

    Folge-Fragen

    Wann reicht robots.txt nicht?

    Wenn eine Sub-Page nicht indexiert werden soll. robots.txt verhindert nur das Crawling, nicht die Indexierung. Für Index-Verbot ist Meta-Robots noindex Pflicht, kombiniert mit Crawl-Erlaubnis, damit der Bot das noindex auch sieht.

    Welche Direktiven sind Standard?

    User-agent, Disallow, Allow, Sitemap, Crawl-delay. Die ersten drei steuern Crawl-Zugriff, Sitemap signalisiert XML-Sitemap-Pfade, Crawl-delay wird nicht von allen Bots respektiert und ist bei Googlebot wirkungslos.

    Wie teste ich robots.txt?

    Über den robots.txt-Tester der Search Console für Googlebot und über Drittanbieter wie technicalseo.com für weitere Bots. Beide zeigen, ob ein gegebener URL-Pfad blockiert oder erlaubt ist.

    Was tun, wenn robots.txt versehentlich alles blockiert?

    Sofort korrigieren und Search Console-Crawl-Anfrage stellen. Eine fehlerhafte Disallow-Zeile kann binnen Stunden die komplette Indexierung kippen. Pre-Release-Checks auf robots.txt sind Pflicht-Hygiene jeder Deployment-Pipeline.

    robots.txt in der Praxis.

    Wo dieser Begriff in deinem Geschaeft konkret wird, beginnt die Arbeit. Wir nennen klar, ob die Idee in unser Studio passt.

    SaaS-Entwicklung