Ein Crawler ist ein Programm, auch bekannt als „Spider“ oder „Bot“, das systematisch Webseiten durchforstet und deren Seiten und Inhalte mit dem Ziel der Webindizierung ausliest. Im Kontext von SEO sind Crawler wichtig für die Bestimmung der Wichtigkeit und des Rankings einer Webseite in den Ergebnissen der Websuche nach einem bestimmten Keyword. Crawler sind sehr aktiv und können eine Webseite mehrmals am Tag besuchen, um nach Updates zu suchen. Der vielleicht bekannteste Crawler ist der Crawler von Google, bekannt als Googlebot. Sie werden Spider und Crawler genannt, weil WWW für World Wide Web (Netz) steht.
