Suchmaschinenoptimierung
Robots.txt

robots.txt ___

Die Datei robots.txt dient dazu, Suchmaschinen und
andere Bots zu dirigieren. Mit einfachen Einstellungen
legen Sie fest, welche Ordner und Dateien ein Such-
Roboter einer Suchmaschine nicht in seinen Index aufnehmen
soll.
In der puren Variante sieht die robots.txt nur eine Negativ-
Option vor. Sie dürfen also nur Dateien und Ordner
ausschließen und nicht explizit festlegen, welche Bereiche
Ihrer Website der Bot einlesen soll. Deshalb ist im Zusammenhang
mit der robots.txt oft auch vom Robots
Exclusion Standard die Rede.
Allerdings ist das mit dem Standard so eine Sache ?
besser wäre es, von einem kleinsten gemeinsamen Nenner
zu sprechen. Denn viele Bots unterstützen mehr Kommandos
als vorgesehen ? auch solche zum expliziten Einschließen
von Dateien und Ordnern