Suchmaschinenoptimierung
Robots.txt – Google

DeveloperIT-ProjekteOffice-AnwendungenSoftware

Google bietet über die auf robotstxt.org festgelegten Standards
hinaus noch einige Erweiterungen.

Erweiterungen für Google ___

Google bietet über die auf robotstxt.org festgelegten Standards hinaus noch einige Erweiterungen. So erkennt der Googlebot auch einfache Muster beim Disallow-Befehl. Um etwa zu verhindern, dass der Googlebot auf dem Server vorhandene PHP-Dateien indexiert, geben Sie ein: Die Suchmuster für den Googlebot dürfen als Platzhalter den * für beliebige Zeilen und ein $ für das Ende des Suchstrings enthalten. Obiges Beispiel schließt also alle Dateien aus, die auf php enden. Sollen alle dynamisch erzeugten Inhalte einer Site außen vor bleiben, empfiehlt Google:

User-agent: Googlebot
Disallow: /*?

Dieses Muster passt auf alle URLs, die ein Fragezeichen enthalten ? das Zeichen, auf das in der Regel die für dynamische Seiten typischen Parameter folgen. Eine weitere Spezialität von Googlebot: Er versteht nicht nur Befehle zumAusschließen von Seiten, sondern nimmt auch Anweisungen entgegen, ausdrücklich Seiten zu indexieren. Der Befehl heißt Allow.

User-agent: Googlebot
Allow: /nonodir/diedoch.html
Disallow: /nonodir/

Mit der Allow-Zeile gestatten Sie dem Googlebot, auf die Datei diedoch.html imVerzeichnis /nonodir/ zuzugreifen. Die zweite Zeile mit Disallow sperrt den Zugriff auf alle anderen Dateien im Verzeichnis. Auf diese Weise können Sie sehr einfach Ausnahmen definieren und genau steuern, was der Googlebot liest.

Autor: swasi
Anklicken um die Biografie des Autors zu lesen  Anklicken um die Biografie des Autors zu verbergen