cbsa.cat

# Robot no me gustaría recordarte lo que eres.

#
#
# Un robot no hará daño a un ser humano o, por inacción, permitir que un ser humano sufra daño.
# Un robot debe hacer realizar las órdenes dadas por los seres humanos, excepto si estas órdenes entrasen en conflicto con la 1ª Ley.
# Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la 1ª o la 2ª Ley.1
#
#

# si te aburres mira http://www.yonkis.com es mejor que esto seguro.


# Os queremos
#      ____          _                        _           _        _                                         
#     ||o o|     ___| |_ ___  _ __  _ __ ___ | |__   ___ | |_ __ _| |__  _   _ ___  ___   ___ ___  _ __ ___  
#     ||===|    / __| __/ _ \| '_ \| '__/ _ \| '_ \ / _ \| __/ _` | '_ \| | | / __|/ _ \ / __/ _ \| '_ ` _ \ 
#   .-.`---'-.  \__ \ || (_) | |_) | | | (_) | |_) | (_) | || (_| | |_) | |_| \__ \  __/| (_| (_) | | | | | |
#   | | o .o |  |___/\__\___/| .__/|_|  \___/|_.__/ \___/ \__\__,_|_.__/ \__,_|___/\___(_)___\___/|_| |_| |_|
#   | | o:.o |               |_|                                                                             
#   | |      |
#   `-".-.-.-'    This website is officially robot abuse free.
#   _| | : |_
#  (oOoOo)_)_)



User-Agent: *
Allow: /
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /CosasSuperSecretas/
Disallow: /FormulaCocaCola.zip/

# Desindexar todo lo que empiece
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php

     Disallow: /wp-


# Sitemap permitido, búsquedas no.

     Sitemap: http://cultura.cbsa.cat/sitemap.xml
     Disallow: /?s=
     Disallow: /search

# Permitimos el feed general para Google Blogsearch.
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.

# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$


# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante…
# Añadir al gusto del consumidor…

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /


# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 50
User-agent: Slurp
Crawl-delay: 50

################################################################
#
#Todos esos robots chungos (o que consumen mucho ancho de banda)
#
User-agent: CompSpyBot
User-agent: Curious George
User-agent: CybEye.com
User-agent: DoCoMo
User-agent: ExB Language Crawler
User-agent: Ezooms
User-agent: Flamingo_SearchEngine
User-agent: Genieo
User-agent: Genio
User-agent: LWNutch
User-agent: LexxeBot
User-agent: OpenWebIndex
User-agent: RediffNewsBot
User-agent: SEOENGWorldBot
User-agent: Scanmine 
User-agent: Screaming Frog SEO Spider
User-agent: ShopWiki
User-agent: ShowyouBot
User-agent: Sosospider
User-agent: WocBot
User-agent: Yeti
User-agent: Yeti
User-agent: YoudaoBot
User-agent: daumoa
User-agent: gsa-crawler
User-agent: libcrawl
User-agent: linkdex
User-agent: magpie-crawler
User-agent: repparser
User-agent: rogerbot
User-agent: sindice-site-manager
User-agent: sogou spider
User-agent: sogou
User-agent: woriobot
User-agent: yacybot
User-agent: yolinkBot
Disallow: /

User-Agent: MattCutts
User-Agent: Pinguino
User-Agent: Panda
User-Agent: Clientes Morosos
USer-Agent: Grandes cuentas
Disallow:/Clientes que no pagan
Disallow:/Clientes aburridos

#                     .              .       .                    .      .
#.        .               .       .     .            .
#   .           .        .                     .        .            .
#             .               .    .          .              .   .         .
#               _________________      ____         __________
# .       .    /                 |    /    \    .  |          \
#     .       /    ______   _____| . /      \      |    ___    |     .     .
#             \    \    |   |       /   /\   \     |   |___>   |
#           .  \    \   |   |      /   /__\   \  . |         _/               .
# .     ________>    |  |   | .   /            \   |   |\    \_______    .
#      |            /   |   |    /    ______    \  |   | \           |
#      |___________/    |___|   /____/      \____\ |___|  \__________|    .
#  .     ____    __  . _____   ____      .  __________   .  _________
#       \    \  /  \  /    /  /    \       |          \    /        |      .
#        \    \/    \/    /  /      \      |    ___    |  /    ______|  .
#         \              /  /   /\   \ .   |   |___>   |  \    \
#   .      \            /  /   /__\   \    |         _/.   \    \            +
#           \    /\    /  /            \   |   |\    \______>    |   .
#            \  /  \  /  /    ______    \  |   | \              /          .
# .       .   \/    \/  /____/      \____\ |___|  \____________/  LS
#                               .                                        .
#     .                           .         .               .                 .
#                .                                   .            .
#
# to be continue...