Bots sind Computerprogramme, die von Suchmaschinen wie Google und Bing geschrieben wurden, um das Web zu crawlen.
Diese Bots oder Webcrawler scannen automatisch Webseiten, um Informationen für den Index der Suchmaschine zu sammeln. Bots crawlen Webseiten, indem sie Links und Sitemaps folgen.
Um die Datenbank einer Suchmaschine auf dem neuesten Stand zu halten, reisen die Bots kontinuierlich über Links von Seite zu Seite, um herauszufinden, ob Änderungen an einer bestehenden Seite vorgenommen wurden oder ob eine neue Seite erstellt wurde.
Je öfter eine Seite ihren Inhalt erstellt und aktualisiert, desto öfter werden Crawler die Seite besuchen.