robots.txt

robots.txt ist eine Textdatei im Stammverzeichnis einer Domain. Diese Datei wird von den Suchmaschinen zuerst gelesen. In der Datei ist festgelegt, ob ein Webcrawler die Seite besuchen darf und wie genau er vorgehen darf. Dadurch besteht die Möglichkeit, dass einzelne Seiten innerhalb des Internetauftritts für Suchmaschinen gesperrt werden können. In der ersten Zeile der Datei ist immer vermerkt, auf welche Webcrawler sich die Anweisungen beziehen. Liest der Crawler die Datei aus, dann durchsucht er die Datei von oben nach unten ab. Er hält an jener Stelle an, an der Informationen für ihn vorhanden sind. Daher ist der Aufbau der Datei bereits vorgegeben. Da er die restlichen Dateien nicht mehr liest, müssen die speziellen Anweisungen für den Crawler vor den allgemeingültigen Hinweisen stehen.

Lexikon