Die robots.txt ist eine Textdatei, die eine Reihe von Anweisungen für die Crawler einer Suchmaschine enthält. Crawler oder Spider verwenden eine robots.txt-Datei, um zu bestimmen, welche Seiten einer Webseite gecrawlt und indiziert werden sollen.
Eine robots.txt Datei wird verwendet, um das Crawl-Budget zu maximieren und festzulegen, welche Seiten einer Webseite gecrawlt werden sollen und welche nicht.
Hinweis: robots.txt wird immer kleingeschrieben!