# ===================================
# Generator: http://pixelfolk.net/tools/robots
# Erstellt am: 03.03.2021, 13:42
# Webseite: http://http://xxxmix.de/www
# ===================================
Crawl-delay: 5
Sitemap: http://https://xxxmix.de/www/sitemaps/sitemaps.xml
# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================
User-agent: *
Disallow: /admin/
# Disallow: /www/cgi-bin/
# Disallow: /www/temp/
Disallow: /www/assets/
Disallow: /www/js/
Disallow: /www/css/
Disallow: /www/sitemaps/
Disallow: /www/storage/
Disallow: /www/_test/
# ===================================
# Schließe folgende Spider komplett aus:
# ===================================
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /