Wie groß ist das Internet? Befanden sich 1998 bei Google 26 Millionen Seiten im Index, waren es im Jahr 2000 schon eine Milliarde! Wie Google verlauten läßt hat der Google Bot nun die <span style=”font-weight: bold;”>billionste Seite</span> gespidert. Das Internet...

Backlink Als Backlink bezeichnet ein Optimierer einen eingehenden Link von einer fremden Seite auf die eigene Seite. In der Regel erhält man Backlinks nach dem Abschluss eines Linktauschs oder aber durch natürliche Verlinkung. Domainpopularity Die Domainpopularity gibt Auskunft über die...

Diese drei Begriffe umschreiben den Vorgang des Sammelns von Daten im Internet. Wenn ein Crawler eine Homepage besucht, ließt er alle Inhalte (Texte) aus, speichert die Informationen in einer Datenbank (z.B. bei der Suchmaschine) und erfasst alle Links die auf einer Webseite vorhanden sind. Die...

Mit diesem Tool kann sich jeder schnell und einfach eine robots.txt zusammenklicken und somit verhindern das gewisse Verzeichnisse oder Dateien von Spidern betrachtet werden dürfen und dann später in deren Suchindex zu finden sind. Die Robots können einfach in einer Liste selektiert werde,...

Ein Webcrawler (auch Spider oder Robot, kurz Bot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind beispielsweise das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer...