##################################################################################
##################### CurrantWeb robots.txt file for WordPress #####################
##################################################################################
User-agent: *
Allow: /
#######################################
################ PAGES ################
#######################################
Disallow: /privacy-policy/
Disallow: /oldsite/
Disallow: /email/
Disallow: /iceburg/
Disallow: /mybangerhead/
Disallow: /mybangerlatest/
Disallow: /mybangerv1/
Disallow: /affiliate-terms/
#######################################
#### WORDPRESS DIRECTORIES & FILES ####
#######################################
Disallow: /wp-content/plugins/
Disallow: /wp-content/upgrade/
Disallow: /wp-admin/
Disallow: /wp-includes/
#######################################
############### SITEMAP ###############
#######################################
Sitemap: https://www.currantweb.co.uk/sitemap_index.xml
#######################################
########### SCREAMING FROG ############
#######################################
User-agent: Screaming Frog SEO Spider
Allow: /
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.xml$
Disallow: /*.css$
Disallow: /*.js$
User-agent: ia_archiver
Disallow: /