Für SEOs

robots.txt

  1. Die Datei robots.txt ist eine einfache Textdatei und muss im Rootverzeichnis der Domain abgelegt werden. Die robots.txt wird von Suchmaschinen-Bots routinemäßig bei jedem Besuch ausgewertet und enthält Angaben darüber, welche Teile der Website in den Suchmaschinen-Index aufgenommen werden dürfen und welche nicht.
  2. Wenn Sie dem Suchmaschinen-Bot das Auslesen Ihrer gesamten Site erlauben möchten, sollte die robots.txt folgenden Inhalt haben: 
    User-agent: *
Disallow:
    Natürlich wird der Bot Ihre Website auch indizieren, wenn Sie keine robots.txt haben. Da er aber routinemäßig danach sucht, wird ihr Nichtvorhandensein zu häufigen 404-Meldungen ("Nicht gefunden") in den Server-Logs führen.
  3. In der robots.txt kann auch angegeben werden, wo die Sitemap abgelegt worden ist. Die Angabe kann in einer beliebiger Zeile eingefügt werden und hat folgendes Format:
    Sitemap: http://www.meinedomain.de/sitemap.xml