1.000.000.000.000 Seiten bei Google
Wie groß ist das Internet? Befanden sich 1998 bei Google 26 Millionen Seiten im Index, waren es im Jahr 2000 schon eine Milliarde! Wie Google verlauten läßt hat der Google Bot nun die billionste Seite gespidert. Das Internet besteht aber aus einer schier unendlichen Anzahl an Webseiten, hier geht es ja nur um den Anteil an bereits besuchter Webseiten durch den GoogleBot… Quelle: Official Google Blog: We knew the web was big…
mehrrobots.txt Generator
Mit diesem Tool kann sich jeder schnell und einfach eine robots.txt zusammenklicken und somit verhindern das gewisse Verzeichnisse oder Dateien von Spidern betrachtet werden dürfen und dann später in deren Suchindex zu finden sind. Die Robots können einfach in einer Liste selektiert werde, die Verzeichnisse und Dateien lassen sich bequem in ein Textfeld eintragen. Nach dem Absenden erfolgt die Generierung der Datei. http://www.topsubmit.de/dienste/webseiten-optimierung/robots.txt-generator Warum robots.txt Suchmaschinen besitzen Programme (die sogenannten Spider), die Ihre Webseite nach...
mehrWebcrawler
Ein Webcrawler (auch Spider oder Robot, kurz Bot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind beispielsweise das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer Informationen. Der Begriff bürgerte sich durch die gleichnamige Suchmaschine WebCrawler® ein, welche 1994 die erste öffentlich erreichbare WWW-Suchmaschine mit Volltextindex war. Wie beim Internetsurfen gelangt ein Webcrawler über Hyperlinks von einer Webseite zu weiteren URLs. Dabei...
mehrSEO Events
