Die Crawl Budget-Optimierung ist ein entscheidender Schritt im Bereich des technischen SEO, der sich auf das effiziente Crawling unserer Website durch Suchmaschinen-Bots konzentriert. Unser Ziel ist es, sicherzustellen, dass sämtliche Neuerungen und Änderungen unserer Website rasch im Suchmaschinenindex (SERPs) aufgenommen werden. Dieser Prozess ist insbesondere für umfangreiche Websites mit vielen Unterseiten von Bedeutung, wie zum Beispiel E-Commerce-Plattformen.
Wichtig zu betonen ist, dass die Optimierung des Crawl Budgets an sich kein direkter Rankingfaktor ist. Dennoch trägt sie dazu bei, neue und aktualisierte Inhalte schneller in den Index aufzunehmen und somit potenziell bessere Rankings zu erzielen.
Das Crawl Budget im Detail
Was ist das Crawl Budget?
Um zu verstehen, wie die Crawl Budget-Optimierung funktioniert, müssen wir zunächst das Crawl Budget selbst verstehen. Das Crawl Budget ist das Kontingent an Crawls, das Suchmaschinen-Bots täglich einer Website zuweisen. Es repräsentiert die Zeitspanne, die Suchmaschinen-Crawler einer Website widmen, um deren Inhalt zu erfassen. Innerhalb dieses Zeitraums werden alle erreichbaren Seiten und Ressourcen gecrawlt.
Die genaue Größe des Crawl Budgets wird von den Suchmaschinen selbst festgelegt und kann von Webmastern oder SEOs nicht direkt beeinflusst werden. Allerdings passen Suchmaschinen das Crawl Budget an die Häufigkeit an, mit der neue Inhalte erstellt oder bestehende aktualisiert werden. Websites, die regelmäßig neue Inhalte hinzufügen oder ihre bestehenden aktualisieren, erhalten tendenziell ein höheres Crawl Budget im Vergleich zu weniger dynamischen Websites.
Wie groß ist mein Crawl Budget?
Die Überwachung und Analyse des eigenen Crawl Budgets ist entscheidend für die Crawl Budget-Optimierung. In der Google Search Console haben wir Zugriff auf diese Informationen unter „Einstellungen“ und „Crawl-Statistiken“.
Der Unterschied zwischen Crawl Budget und Crawl Demand
Um das Crawl Budget besser zu verstehen, müssen wir den Begriff „Crawl Demand“ einführen. Das Crawl Budget repräsentiert die tatsächliche Menge an Crawls, die einer Website zugewiesen werden. Der Crawl Demand hingegen ist die Menge an Crawls, die erforderlich wäre, um sämtliche Änderungen auf einer Website zu erfassen.
Es kann Situationen geben, in denen der Crawl Demand das verfügbare Crawl Budget übersteigt. Ein Beispiel dafür wäre ein umfangreicher Website-Relaunch. In solchen Fällen erhöhen Suchmaschinen vorübergehend das Crawl Budget, um die erforderlichen Änderungen schnell zu erfassen. Sobald der Crawl Demand wieder zurückgeht, wird auch das Crawl Budget entsprechend angepasst.
Was passiert, wenn das Crawl Budget nicht ausreicht?
Wenn das tägliche Crawl Budget regelmäßig erschöpft wird und Änderungen auf der Website häufiger vorkommen, werden einige Inhalte erst an den folgenden Tagen erfasst. Dies kann dazu führen, dass neue oder aktualisierte Inhalte mit einer gewissen Verzögerung im Index erscheinen.
Insbesondere betrifft dies Seiten, die nicht zu den Kernseiten der Website gehören. In der Regel werden die wichtigen Seiten der Website öfter gecrawlt als Seiten mit tieferer Verschachtelung.
Es ist wichtig zu beachten, dass das Crawl Budget keinen direkten Einfluss auf die Rankingpositionen hat. Wenn das Crawl Budget nicht ausreicht, bedeutet dies lediglich, dass Änderungen oder neue Inhalte zeitverzögert im Index erscheinen. Dies kann im schlimmsten Fall zu verpassten Traffic- und Umsatzsteigerungen führen, wenn die Seite erst später besser positioniert wird. Die tatsächlichen Rankings der Inhalte werden jedoch nicht beeinflusst.
Um einzelne Seiten, die schnell gecrawlt werden sollen (z. B. aktualisierte Artikel), zu priorisieren, bietet die Google Search Console ein URL-Prüftool, mit dem diese Seiten separat angemeldet werden können. So müssen wir nicht darauf warten, dass sie eventuell erst in einigen Tagen gecrawlt werden.
Für wen ist das Crawl Budget relevant?
Die Relevanz des Crawl Budgets wird besonders bei großen Websites deutlich, auf denen täglich viele Änderungen stattfinden oder die eine große Anzahl von Unterseiten aufweisen, die nicht unbedingt gecrawlt werden müssen. Dies betrifft insbesondere E-Commerce-Plattformen mit tausenden von Produkten, zahlreichen Produktkategorien, Wunschlisten, Empfehlungslisten, Filteroptionen und vielem mehr.
Wenn wir feststellen, dass neue Seiten oder aktualisierte Inhalte ungewöhnlich lange benötigen, um im Index aufgenommen zu werden, ist es ratsam, unser Crawl Budget genauer zu betrachten.
Die Optimierung des Crawl Budgets
Wie kann ich herausfinden, was gecrawlt wird?
Die Überwachung dessen, was gecrawlt wird, ist von entscheidender Bedeutung für die Crawl Budget-Optimierung. Um dies zu erreichen, können wir unsere Website selbst crawlen und die Ergebnisse genau analysieren. Hierbei kann zum Beispiel die Crawl-Analyse von Screaming Frog verwendet werden.
Die Ergebnisse dieses Crawlings werden dann mit unserer XML-Sitemap abgeglichen. Idealerweise sollten beide nahezu identisch sein. In den meisten Fällen wird jedoch festgestellt, dass viele Seiten unnötigerweise gecrawlt werden. Diese Seiten können mithilfe der Crawl-Analyse identifiziert werden.
Es ist wichtig, die Website so zu crawlen, wie es der Googlebot tun würde. Dazu sollten wir folgende Einstellungen vornehmen:
- JavaScript-Rendering aktivieren
- ’noindex‘ respektieren
- ‚canonical‘ respektieren
- ‚robots.txt‘ respektieren
- XML-Sitemap crawlen
Beim URL-Rewriting sollten wir alle Parameter genau so übernehmen, wie sie in der Google Search Console definiert sind. Seiten mit dem ’noindex‘-Tag sollten vor allem beachtet werden. Wenn es sich um Hunderte oder Tausende solcher Seiten handelt, sollten wir erwägen, sie stattdessen über die robots.txt aus dem Crawling auszuschließen.
Maßnahmen zur Crawl Budget-Optimierung
Da wir das Crawl Budget selbst nicht verändern können, konzentrieren wir uns auf die effiziente Nutzung der zur Verfügung stehenden Crawls. Dies bedeutet, dass wir sicherstellen müssen, dass kein Crawl Budget für Inhalte aufgewendet wird, die entweder nicht indexiert werden müssen oder nur selten aktualisiert werden.
Bei der Entscheidung, welche Seiten nicht im Index erscheinen sollen, sollten wir stets die Frage stellen: Ist ein Crawl dieser Inhalte sinnvoll?
Hier sind einige Beispiele für Inhalte, die nicht im Index erscheinen müssen:
- Das Backend unseres Content Management Systems (CMS)
- Wunschlisten auf E-Commerce-Websites
- Empfehlungslisten auf E-Commerce-Websites
- Seiten mit einem Statuscode, der NICHT 200 ist (z.B., 301, 404, 503 usw.)
Maßnahmen zur Optimierung unseres Crawl Budgets
- Richtiger Einsatz der robots.txt: Die robots.txt ist ein leistungsstarkes Werkzeug, um unnötiges Crawl Budget einzusparen und Kapazitäten für relevante Crawls freizusetzen. Wir sollten sicherstellen, dass nur diejenigen Inhalte gecrawlt werden, die auch wirklich indexiert werden sollen.
- Hochladen der Sitemap in der Google Search Console: Die XML-Sitemap dient als Roadmap oder Inhaltsverzeichnis unserer Website für Suchmaschinen-Crawler. Wir sollten sicherstellen, dass diese hochgeladen und aktuell ist, da sie die Struktur unserer Website abbildet.
- Verhindern des Crawlings von URLs mit Parametern: URL-Parameter sind auf vielen Websites im Einsatz. Wir sollten überprüfen, welche Parameter auf unserer Website verwendet werden und ob sie tatsächlich relevant sind. Unnötiges Crawling von parametrierten URLs sollte vermieden werden.
- Optimierung der internen Verlinkung: Eine effiziente interne Verlinkung erleichtert es Crawlern, unsere Website zu durchsuchen und ihre Struktur zu verstehen. Wir sollten sicherstellen, dass wichtige Seiten ausreichend verlinkt sind, um sogenannte Orphan Pages zu minimieren.
- Korrektur von Statuscodes: Weiterleitungen und Fehlerseiten verbrauchen unnötiges Crawl Budget. Wir sollten sicherstellen, dass Weiterleitungen minimal gehalten werden und keine Weiterleitungsketten entstehen.
Die Crawl Budget-Optimierung ist ein fortlaufender Prozess, der dazu beiträgt, die Indexierungsgeschwindigkeit unserer Website zu steigern und sicherzustellen, dass wichtige Änderungen schnell im Suchmaschinenindex erscheinen. Durch die Implementierung dieser Maßnahmen können wir unser Crawl Budget effizient nutzen und damit potenziell bessere Rankings erreichen.
Fazit
Die Crawl Budget-Optimierung ist ein wichtiger Bestandteil des technischen SEO, der vor allem für umfangreiche Websites von großer Bedeutung ist. Indem wir unser Crawl Budget effizient nutzen und sicherstellen, dass wichtige Inhalte schnell indexiert werden, können wir die Sichtbarkeit unserer Website in den Suchmaschinen verbessern. Die oben genannten Maßnahmen helfen dabei, die Indexierungsgeschwindigkeit zu steigern und potenziell bessere Rankings zu erzielen.
