Definition: Focused Crawling
Focused Crawling
- Das Internet besteht aus Milliarden Webseiten, die nur mit kolossalem Aufwand von Suchmaschinen erfasst werden können. So benötigt Google etwa einen Monat, um einen neuen Index zu erstellen. (Diese Periode schwankt, und wird in Zukunft immer kürzer werden.)Focused Crawling reduziert diesen Aufwand. Es spart Ressourcen, indem nur als wichtig erachtete Webseites gespidert werden. Zudem werden nur als wichtig eingestufte Seiten regelmäßig und in kurzen Abständen besucht und damit aufgefrischt.
Stellt Google also fest, dass Webseiten nicht oder nur selten aktualisiert werden, reduziert sich die Besuchshäufigkeit des Googlebots.



