Definition: Robots.txt

Robots.txt

- Mit dieser Textdatei im Hauptverzeichnis einer Website (http://www.domain.de/robots.txt) können Spider i.d.R. angewiesen werden, bestimmte Dateien oder Ordner nicht zu spidern und zu indexieren.

Seriöse Suchmaschinenbetreiber halten sich an diese Anweisungen. Webseiten, die absolut nicht gespidert werden dürfen, sollten unbedingt in einem passwortgeschützten Verzeichnis untergebracht werden.

Spider, die sich nicht an die Robots.txt halten wollen, können vom Webmaster über die IP bzw. den Agent-Name erkannt werden und über die Htaccess-Datei vom Zugriff auf die Website abgehalten werden.

Für im Thema weniger Bewanderte gibt im Web einige Links zum Thema und Robots.txt-Generatoren. Hier einige davon:

Searchcode Robots.txt-Generator (auf Deutsch)
Mit robots.txt Seiten vor Robots schützen (auf Deutsch)
Selfhtml zum Thema robots.txt (Deutsch)

SUMO - Die SEO Agentur mit Fokus auf

• SEO Consulting (Beratung)
• Professionelle Suchmaschinenoptimierung
• Erfolgreiche Suchmaschinenoptimierung
• Seriöse Suchmaschinenoptimierung