Crawler / Spider / Robots

Diese drei Begriffe umschreiben den Vorgang des Sammelns von Daten im Internet. Wenn ein Crawler eine Homepage besucht, ließt er alle Inhalte (Texte) aus, speichert die Informationen in einer Datenbank (z.B. bei der Suchmaschine) und erfasst alle Links die auf einer Webseite vorhanden sind. Die Links werden ebenfalls gespeichert und zu einem späteren Zeitpunkt besucht. So kann ein Crawler alle (lesbaren) Informationen einer Homepage erfassen und gleichzeitig Auskunft über die Verlinkung (eingehende und ausgehende Links) sammeln. Über die gesammelten Links werden schrittweise alle Homepages im Internet ausgelesen und erfasst. Die von Crawlern gesammelten Daten werden von Suchmaschinen ausgewertet und in die bestehenden Suchergebnisse einsortiert.