kapitools.de

# Beispiel einer robots.txt 

# Datei ROBOTS.TXT wird von Spidern oder Robots auf dem Account gesucht wenn Sie Ihre Webseiten bei einem MetaCrawler/Spider eingetragen haben, so wird die robots.txt automatisch von diesem Suchmaschinen-Robot beim Besuch Ihrer Webseiten durchsucht! Ist sie nicht zu finden dann werden ggf. all Ihre Verzeichnisse ausgelesen und indiziert und gelistet.

# Spider oder Robots durchsuchen das Internet bzw. angemeldete Accounts in regelm�ssigen Abst�nden, um zu pr�fen ob die Accounts noch existieren oder sich etwas ge�ndert hat bei Ihrem Webangebot, um u.a. die Aktualit�t der Suchmaschinen-Datenbanken aufrecht zu erhalten. 

# Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie: 

# 
# 
# 
# 

# Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!


# Hier k�nnen Sie mit dem "Disallow:" weitere Verzeichnisse direkt sch�tzen
# die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /logs/

# z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/

# Hier k�nnten noch folgende Einschr�nkungen gemacht werden!
# User-agent: Scooter
# Disallow: /