Crawl-Budget, im SEO-Kontext.
Crawl-Budget ist die Anzahl URLs, die Googlebot pro Zeitfenster auf einer Domain crawlt. Relevant ab fünfzigtausend Seiten oder bei häufigen Updates.
Crawl-Budget beschreibt die Anzahl URLs, die Googlebot in einem definierten Zeitfenster auf einer Domain abruft. Die Höhe richtet sich nach Crawl-Rate-Limit, Crawl-Demand und Server-Geschwindigkeit. Für kleine Sites ist Crawl-Budget irrelevant, weil Google jede Seite ohnehin schnell findet. Ab fünfzigtausend Seiten oder bei häufigen Updates wird es zur Steuerungs-Aufgabe. Zählt besonders für Shops, große Editorial-Plattformen und Programmatic-SEO-Cluster. Beispiel: Ein DACH-Shop mit zweihunderttausend Produkt-Seiten verliert Indexierung in den unteren Kategorien, weil Crawl-Budget an Filter-Variationen verschwendet wird. Bei uns ist Crawl-Steuerung Teil der Indexierungs-Architektur.
Beispiele aus dem Mittelstand
- Ein DACH-Shop reduziert Filter-URLs per robots.txt und gewinnt damit Crawl-Budget für tiefe Produkt-Kategorien zurück.
- Eine Editorial-Plattform priorisiert in der XML-Sitemap aktuelle Artikel und beschleunigt damit die Indexierung tagesaktueller Inhalte.
Folge-Fragen
Ab wann ist Crawl-Budget relevant?
Ab etwa fünfzigtausend URLs oder bei sehr häufigen Updates wie täglich neuen Artikeln. Darunter ist Crawl-Budget kein Engpass. Google bestätigt das offiziell und rät kleineren Sites, keinen Aufwand zu investieren.
Wie steuere ich Crawl-Budget?
Über robots.txt-Disallow für Filter-URLs ohne SEO-Wert, klare Canonical-Tags, XML-Sitemap-Priorisierung, schnelle Server-Antworten und konsistente HTTP-Status-Codes. Soft-404 und Redirect-Ketten verschwenden Budget besonders stark.
Wie messe ich Crawl-Budget?
Über die Crawl-Statistiken in der Google Search Console und Server-Logs. Aussagekräftige Logs zeigen URL-Klassen, Status-Codes und Bot-Frequenz. Daraus ergibt sich, wo Budget verschwendet wird.
Schadet eine zu schnelle Crawl-Rate?
Ja, sie kann den Server überlasten. Über Search Console lässt sich die Crawl-Rate temporär reduzieren. Dauerhaft besser ist es, Server-Performance zu erhöhen, damit Googlebot mehr URLs pro Zeitfenster verarbeiten kann.
Crawl-Budget in der Praxis.
Wo dieser Begriff in deinem Geschaeft konkret wird, beginnt die Arbeit. Wir nennen klar, ob die Idee in unser Studio passt.
SaaS-Entwicklung