Home | PC

robots.txt

[03.08.01]

Meine Datei sieht so aus: robots.txt.

Kleine Erläuterung:

User-agent: *

-> bedeutet: für alle Suchroboter.

Disallow:

-> bedeutet: alle Verzeichnisse durchsuchen.

Disallow: /cgi-bin/

-> bedeutet: dieses Verzeichnis (und alle Unterverzeichnisse) nicht durchsuchen.

Disallow: /

-> bedeutet: alle Verzeichnisse ausschließen.

Ausführliche Informationen zu Funktion und Anwendung: www.robotstxt.org.

[23.05.04, so, 12:45]

Ich kann mich mit englischen Texten immer noch nicht anfreunden und lese sie nur, wenn es nicht anders geht.

Als ich heute die Information suchte, wie ich ein Unterverzeichnis der zweiten Ebene ausschließen könnte, fand ich das noch nicht mal.

Zum Glück gibt es SELFHTML - HTML-Dateien selbst erstellen!

Dort fand ich nicht nur die gesuchte Information, ohne lange zu suchen, ich konnte sie auch in deutscher Sprache lesen.

Mein heutiges Problem war folgendes:

• /faktur/ -> in diesem Verzeichnis lagern HTML-Dateien, die Text in Standardschrift (Standardtastaturbelegung) und Bilder enthalten; es soll durchsucht werden,
• /fraktur/pdf/ -> in diesem Verzeichnis lagern PDF-Dateien, die nicht in Standardschrift geschrieben sind (z. B. auf c liegt ch, schreibt man sch, wird < geschrieben); sie sollen nicht durchsucht werden, weil Suchmaschinen "Bac" statt "Bach" lesen oder "<witzen" statt schwitzen.

Laut SELFHTML sieht der entsprechende Eintrag in robots.txt wie folgt aus:

Disallow: /fraktur/pdf/

-> bedeutet: dieses Verzeichnis /fraktur/pfd/ (und alle Unterverzeichnisse) nicht durchsuchen, beinhaltet, daß das Verzeichnis /fraktur/ durchsucht wird.

[nach oben]