Glossar
Crawling
Das automatisierte Erfassen von Webseiten durch Suchmaschinen-Bots wie den Googlebot.
Crawling bezeichnet den Prozess, bei dem Suchmaschinen-Bots (Crawler) automatisiert Webseiten besuchen, ihren Inhalt erfassen und Links zu weiteren Seiten folgen. Der bekannteste Crawler ist der Googlebot. Ob und wie oft eine Seite gecrawlt wird, hängt von ihrer Autorität, internen Verlinkung und technischen Erreichbarkeit ab.
Bei sehr großen Websites mit Millionen Unterseiten wird Crawling zu einer Ressourcenfrage: Suchmaschinen investieren nur ein begrenztes Crawl-Budget pro Website. Technische Fehler wie Endlosschleifen durch Filter-Parameter oder langsame Serverantworten verschwenden dieses Budget und verzögern die Erfassung neuer oder aktualisierter Inhalte.
Voraussetzung für Ranking ist zunächst Crawling, danach Indexierung - eine Seite, die nicht gecrawlt wird, kann auch nicht ranken, unabhängig von ihrer inhaltlichen Qualität.