Suchmaschinenoptimierung
Robots.txt – Grundlagen 1

Robots.txt ___

Grundlage Nummer eins: Die Datei robots.txt gehört in das Web-Root-Verzeichnis Ihrer Website. Die Datei muss für alle lesbar sein (chmod) und muss mindestens einen Eintrag enthalten. Eine leere robots.txt wird als nicht existent betrachtet. Die einfachste und radikalste Form der robots.txt- Datei sieht so aus:

User-agent: *
Disallow: /

Die erste Zeile bezieht sich auf alle Bots, die zweite schließt alle Dateien und Ordner vom Zugriff des Bots aus. Vorausgesetzt, alle Bots halten sich an diese Anweisung, wird Ihre Website in keinen Suchindex aufgenommen. Sinnvoll ist dieser Komplettausschluss,wenn einWeb-Auftritt gerade in der Probephase ist oder umgebaut wird. Der Googlebot und alle anderen Suchmaschinen-Bots lassen sich damit effektiv ausschließen. Ist die Site dann fertig, schalten Sie die Sperre wieder ab,zum Beispiel mit:

User-agent: *
Disallow:

Fehlt der Schrägstrich, öffnen Sie Ihre Site allen Bots und erlauben den Zugriff auf alle Seiten Ihres Angebots. Nach einigen Tagen holen die Bots wieder Daten von Ihrer Seite.