Suchmaschinenoptimierung
Robots.txt

DeveloperIT-ProjekteOffice-AnwendungenSoftware

Die robots.txt ist ein mächtiges
Werkzeug, um Bots von Suchmaschinen
zu steuern

robots.txt ___

Die Datei robots.txt dient dazu, Suchmaschinen und
andere Bots zu dirigieren. Mit einfachen Einstellungen
legen Sie fest, welche Ordner und Dateien ein Such-
Roboter einer Suchmaschine nicht in seinen Index aufnehmen
soll.
In der puren Variante sieht die robots.txt nur eine Negativ-
Option vor. Sie dürfen also nur Dateien und Ordner
ausschließen und nicht explizit festlegen, welche Bereiche
Ihrer Website der Bot einlesen soll. Deshalb ist im Zusammenhang
mit der robots.txt oft auch vom Robots
Exclusion Standard die Rede.
Allerdings ist das mit dem Standard so eine Sache ?
besser wäre es, von einem kleinsten gemeinsamen Nenner
zu sprechen. Denn viele Bots unterstützen mehr Kommandos
als vorgesehen ? auch solche zum expliziten Einschließen
von Dateien und Ordnern

Autor: swasi
Anklicken um die Biografie des Autors zu lesen  Anklicken um die Biografie des Autors zu verbergen