Suchmaschinen setzen ein Team von Robotern ein, die Crawler oder Spider genannt werden, um den Inhalt einer Webseite (visuell und textlich) zu crawlen oder zu lesen, indem sie den Links der Seite folgen (sowohl intern als auch extern).
Die Inhalte, die diese Crawler finden, werden in einer Datenbank, dem Suchmaschinenindex, gespeichert und organisiert.