edicionesuranochile.com

# ----------------------------------------------------------------------------------------------------------------------------------- 
# ---------------------------  PLANTILLA DE EJEMPLO PARA ARCHIVO ROBOTS.TXT----------------------------------------------------------
# ----------------------------------------------------------------------------------------------------------------------------------- 

# Para más información sobre las diferentes instrucciones que podemos indicarle al Robot, consulte http://www.robotstxt.org/robotstxt.html

# Para el SearchServer, el fichero robots.txt se mantiene en caché durante las 24h siguientes a la primera visita del crawler. 
# Esto implica que los cambios en robots.txt no se tendrán en cuenta por Search Server hasta dentro de 24 horas

# SE RECOMIENDA NO ALTERAR LOS SIGUIENTES DOS PARÁMETROS BÁSICOS

User-agent: *                                  # En la línea User-agent indicamos que todos los robots pueden acceder (señalado con *), incluido Search.  					                                

Allow: /	                               # con Allow establecemos total libertad para que indexen todas nuestras páginas	

# -------Ejemplos de instrucciones para configurar la exclusión de contenidos para los buscadores 
# ------ Cada línea Disallow enumera las páginas que desea bloquear para que los Robots no la indexen

#Disallow: / 			     		# Para bloquear todo el sitio

# Disallow:/nombreDirectorio/        	        # Para bloquear un directorio y todo lo que contiene

# Disallow: /http://www.midominio.es/inicio/contacto.html     # Para bloquear una página indicamos la URL	

# Disallow: /images			        # Para bloquear todos los archivos de imágenes	

# Disallow: /*.gif$				# Para bloquear todos los archivos de un tipo determinado, por ejemplo .gif


# -------Ejemplos de instrucciones para configurar la frecuencia de indexación
# -------La línea Visit-time permite controlar el tiempo en el que los robots indexan las páginas (esta instrucción no es respetada
# -------por todos los motores de búsqueda)

# Visit-time: 0200-0745				# Con este ejemplo permitimos a los bots de 2 am a 7:45 am

# Request-rate: 1/1s				# Un documento cada 1 segundo

Disallow: /pb/
Disallow: /pb/forms/
Disallow: /backoffice/

Disallow: /es-es/globales/
Disallow: /ca-es/globales/
Disallow: /en-us/globales/

Disallow: /es-es/error/
Disallow: /ca-es/error/
Disallow: /en-us/error/

Disallow:  /es-es/configuracion-del-site/
Disallow:  /en-us/site-config/