Überspringen zu Hauptinhalt

Robots.txt

Mit dieser Textdatei im Hauptverzeichnis einer 16 Webseite (www.beispiel.de/robots.txt) können Spider angewiesen werden, bestimmte Dateien oder Ordner nicht zu 16 indexieren.
Das ist sinnvoll, um bestimmte Inhalte aus 16 Suchmaschinen herauszuhalten. Die Robots müssen sich nicht an die Vorgaben der robots.txt halten.

An den Anfang scrollen