Programmierung – Robots.txt
Bots ausbremsen

BrowserOffice-AnwendungenSoftwareWorkspace

Denn
wenn die Bots auf dynamischen Websites Seiten
in zu hoher Frequenz abrufen, kommt die Datenbank
irgendwann nicht mehr hinterher.

Frequenz ___

Manche Bots, etwaYahoos Slurp oder der MSNBot, können erstaunlichen Eifer entwickeln, der manche Seite an den Rand ihrer Kapazität bringt. Denn wenn die Bots auf dynamischen Websites Seiten in zu hoher Frequenz abrufen, kommt die Datenbank irgendwann nicht mehr hinterher. Abhilfe schafft ein Eintrag in der Datei robots.txt. Schreiben Sie unterhalb von

User-agent: Slurp

und

User-agent: msnbot

jeweils den Eintrag

Crawl-delay: 5

Falls Sie keine eigenen Sektionen für Slurp und MSN vorgesehen haben, setzen Sie die Anweisung direkt unterhalb von

User-agent: *

Damit warten die Bots jeweils fünf Sekunden, bis sie zum nächsten Mal auf Ihre Site zugreifen. Sie können den Wert auch höher setzen. Googlebot allerdings scheint diese Direktive nicht zu mögen. Die Google-Sitemap-Konsole meldet Crawl-delay als Syntaxfehler.

Autor: swasi
Anklicken um die Biografie des Autors zu lesen  Anklicken um die Biografie des Autors zu verbergen