# Beispiel einer robots.txt
# Datei ROBOTS.TXT wird von Spidern oder Robots auf dem Account gesucht wenn Sie Ihre Webseiten bei einem MetaCrawler/Spider eingetragen haben, so wird die robots.txt automatisch von diesem Suchmaschinen-Robot beim Besuch Ihrer Webseiten durchsucht! Ist sie nicht zu finden dann werden ggf. all Ihre Verzeichnisse ausgelesen und indiziert und gelistet.
# Spider oder Robots durchsuchen das Internet bzw. angemeldete Accounts in regelm�ssigen Abst�nden, um zu pr�fen ob die Accounts noch existieren oder sich etwas ge�ndert hat bei Ihrem Webangebot, um u.a. die Aktualit�t der Suchmaschinen-Datenbanken aufrecht zu erhalten.
# Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie:
#
#
#
#
# Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!
# Hier k�nnen Sie mit dem "Disallow:" weitere Verzeichnisse direkt sch�tzen
# die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine
User-agent: *
Disallow: /images/
Disallow: /logs/
# z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/
# Hier k�nnten noch folgende Einschr�nkungen gemacht werden!
# User-agent: Scooter
# Disallow: /