+49 (0) 176 4444 0535 | mail@seodeluxe.de

robots.txt

Die robots.txt ist eine Textdatei, die eine Reihe von Anweisungen für die Crawler einer Suchmaschine enthält. Crawler oder Spider verwenden eine robots.txt-Datei, um zu bestimmen, welche Seiten einer Webseite gecrawlt und indiziert werden sollen.

Eine robots.txt Datei wird verwendet, um das Crawl-Budget zu maximieren und festzulegen, welche Seiten einer Webseite gecrawlt werden sollen und welche nicht.

Hinweis: robots.txt wird immer kleingeschrieben!

Erhalte jetzt Dein unverbindliches SEO-Angebot »