Robots.txt
Mit dieser Textdatei im Hauptverzeichnis einer Webseite (www.beispiel.de/robots.txt) können Spider angewiesen werden, bestimmte Dateien oder Ordner nicht zu indexieren.
Das ist sinnvoll, um bestimmte Inhalte aus Suchmaschinen herauszuhalten. Die Robots müssen sich nicht an die Vorgaben der robots.txt halten.