Das Crawl-Budget ist ein technischer SEO-Begriff, der angibt, wie viele Seiten deiner Webseite die Bots von Google innerhalb eines bestimmten Zeitraums crawlen werden. Das Crawl-Budget wird bestimmt durch:
- Crawl-Rate-Limit: Die maximale Abrufrate einer Website, bevor sich das Nutzererlebnis verschlechtert
- Crawl-Bedarf: die Wichtigkeit der Webseiten, basierend auf Faktoren wie Popularität und Aktualität
Das Crawl-Budget bezeichnet also die Anzahl der Seiten, die der Googlebot in einem bestimmten Zeitraum crawlt und indexiert. Jede Webseite hat ein Crawl-Budget. Wenn eine Webseite weniger URLs hat, wird sie in den meisten Fällen effizient gecrawlt. Bei größeren Webseiten ist es wichtiger, zu priorisieren, was wann gecrawlt werden soll und wie viele Ressourcen für das Crawlen zur Verfügung stehen. Grundsätzlich gilt: Wenn die Anzahl deiner Seiten das Crawl-Budget übersteigt, werden diese Seiten nicht in Google indexiert.