Glossar
Crawl-Budget
Die begrenzte Anzahl an Seiten, die eine Suchmaschine innerhalb eines Zeitraums auf einer Website crawlt.
Crawl-Budget bezeichnet die begrenzte Kapazität, die eine Suchmaschine für das Crawlen einer bestimmten Website innerhalb eines Zeitraums aufwendet. Bei kleinen Websites ist das selten ein Problem - bei Portalen mit hunderttausenden oder Millionen Unterseiten entscheidet effizientes Crawl-Budget-Management darüber, wie schnell neue oder aktualisierte Inhalte überhaupt erfasst werden.
Verschwendetes Crawl-Budget entsteht häufig durch technische Sackgassen: endlose Filterkombinationen, Duplicate Content ohne Canonical-Auszeichnung, langsame Serverantwortzeiten oder viele Weiterleitungs- Ketten. Eine saubere technische Architektur konzentriert das verfügbare Budget auf die wirklich relevanten Seiten.
Bei High-Traffic-Portalen und Verlagsseiten mit hoher Publikationsfrequenz ist Crawl-Budget-Management ein zentraler, laufender Bestandteil der technischen SEO-Arbeit.