Definition: Spider

Spider

- Auch "Robot", "Bot", "Crawler" genannt. Bezeichnet Programme, die sich mit Hilfe von Hyperlinks beständig durch das Internet bewegen, die Inhalte von Webseiten erfassen, um sie für die spätere Indexierung durch Suchmaschinen verwenden zu können.

Die Adressen der Webseiten wurden zuvor entweder bei den Suchmaschinen angemeldet oder der Spider folgt eigenständig Links und besucht dabei neue Seiten.