Ein Crawler oder Web-Crawler ist eine Online-Anwendung, die die Webseiten im Internet nach vorgegebenen Kriterien aufruft, die Inhalte durchsucht und die Informationen sammelt und in eine eigene Datenbank stellt.
Die Verwendung der Crawler geschieht hauptsächlich durch Suchmaschinen. So können dann auch die bestehenden Inhalte, die z.B. auf den Webseiten geändert oder gelöscht wurden, aktualisiert werden.
Insofern ist die Aufgabe der Crawler eine durchaus sinnvolle Aufgabe.
Allerdings gibt es auch Crawler, die eher unerwünschte Aufgabenstellungen erfüllen, die da z. B. sein können:
- Durchsuchen der Webseiten nach E-Mail-Adressen
- Durchsuchen der Webseiten nach Zugangsdaten
- Durchsuchen der Webseiten nach Schwachstellen, z. B. alten unsicheren CMS-Systemen oder Shops, um die Seiten dann anzugreifen
- Durchsuchen nach unerlaubten Bildverwendungen (und dann Abmahnung der Seitenbetreiber)
