Suchmaschinenoptimierung
Robots.txt – Google

Erweiterungen für Google ___

Google bietet über die auf robotstxt.org festgelegten Standards hinaus noch einige Erweiterungen. So erkennt der Googlebot auch einfache Muster beim Disallow-Befehl. Um etwa zu verhindern, dass der Googlebot auf dem Server vorhandene PHP-Dateien indexiert, geben Sie ein: Die Suchmuster für den Googlebot dürfen als Platzhalter den * für beliebige Zeilen und ein $ für das Ende des Suchstrings enthalten. Obiges Beispiel schließt also alle Dateien aus, die auf php enden. Sollen alle dynamisch erzeugten Inhalte einer Site außen vor bleiben, empfiehlt Google:

User-agent: Googlebot
Disallow: /*?

Dieses Muster passt auf alle URLs, die ein Fragezeichen enthalten ? das Zeichen, auf das in der Regel die für dynamische Seiten typischen Parameter folgen. Eine weitere Spezialität von Googlebot: Er versteht nicht nur Befehle zumAusschließen von Seiten, sondern nimmt auch Anweisungen entgegen, ausdrücklich Seiten zu indexieren. Der Befehl heißt Allow.

User-agent: Googlebot
Allow: /nonodir/diedoch.html
Disallow: /nonodir/

Mit der Allow-Zeile gestatten Sie dem Googlebot, auf die Datei diedoch.html imVerzeichnis /nonodir/ zuzugreifen. Die zweite Zeile mit Disallow sperrt den Zugriff auf alle anderen Dateien im Verzeichnis. Auf diese Weise können Sie sehr einfach Ausnahmen definieren und genau steuern, was der Googlebot liest.