rias1.de

# robots.txt fuer http://www.rias1.de/

#User-agent: BeispielRobot
Disallow: /klasse/       # Muessen noch bearbeitet werden
Disallow: /image/klasse/ # Werden noch hinzugefuegt
Disallow: /video/        # nicht noetig
Disallow: /SpryAssets/   # nicht noetig
Disallow: /sound4/topten00/
Disallow: /sound4/topten60-70/
Disallow: /sound4/topten80/
Disallow: /sound4/topten90/
Disallow: /tmp/
Disallow: /logs/
Disallow: /js/

#Mit User-agent: BeispielRobot bestimmt man, da� die Anweisungen nur f�r den Crawler BeispielRobot gelten. Mit den einzelnen Disallow Eintr�gen bestimmt man #Dateien #und Verzeichnisse die nicht indexiert werden sollen. Alles, vor dem ein # steht, gilt als Kommentar und wird von den Robots ignoriert.

#Wenn man mit einem Mal alle Crawler ausschlie�en will, benutzt man den sog. Wildchar *, also:

# Alle Robots ausschlie�en
#User-agent: *
#Disallow: /temp/
#Wenn man nicht gleich alle Crawler, sondern nur ein paar bestimmte meint, kann man diese so angeben:

# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy

#Um seine Site ganz von der Indexierung auszuschlie�en kann man folgendes benutzen:
# Ganze Site f�r alle Robots sperren
#User-agent: *
#Disallow: /
#Wenn man den Slash (/) wegl��t, gibt man Seine Site ganz f�r die Indexierung frei:

# Ganze Site freigeben
#User-agent: *
#Disallow:
#Bei den Disallow Eintr�gen ist die Gro�- und Kleinschreibung egal. Man sollte aber darauf achten, wo und ob man den Slash (/) setzt, denn der Eintrag

#User-agent: *
#Disallow: /index
#Disallow: /temp/
#W�rde dazu f�hren, da� alle Urls die mit /index anfangen nicht indexiert werden, auch z.B. /index.html oder /indexed-files/datei.html statt einfach nur das #Verzeichnis /index/, wohingegen bei Disallow: /temp/ wirklich nur die Dateien im Verzeichnis /temp/ ausgeschlossen werden.

#Beispieltabelle

#Um das alles zusammenzufassen ein kleines Beispiel:

# http://beispiel.de/robots.txt

#User-agent: scooter
#Disallow: /

#User-agent: wget
#User-agent: webzip
#Disallow:
#User-agent: *
Disallow: /video/
Disallow: /sound4/dlf/memoryhits/
Disallow: /klasse/
Disallow: /image/
#Die Anweisungen f�r alle (*) Robots werden nur von Robots interpretiert, die nicht explizit aufgef�hrt werden; scooter, wget und webzip ignorieren in diesem #Fall die Angaben