####################################################################
#
# ROBOTS.TXT OPTIMIZED FOR WORDPRESS
#
# Disallow: To prevent futur crawling of pages
# Noindex: To suppress pages eventually present in index
#
####################################################################
User-agent : *
####################################################################
# URLs with parameter (to prevent content duplication)
####################################################################
Noindex: /*?
####################################################################
# Login page
####################################################################
Disallow: /wp-login.php
Noindex: /wp-login.php
####################################################################
# WordPress core content
####################################################################
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Noindex: /wp-admin
Noindex: /wp-includes
Noindex: /wp-content
####################################################################
# We authorize indexation of uploaded files (like PDFs)
####################################################################
Allow: /wp-content/uploads
####################################################################
# Plugins and Themes: We authorize crawling of these folders because
# if not, Google doesn't see correct pages when analysing Mobile ergonomy
####################################################################
Allow: /wp-content/plugins/*
Noindex: /wp-content/plugins/*
Allow: /wp-content/themes/*
Noindex: /wp-content/themes/*
####################################################################
# We authorize crawling of CSS / JS files from cache / themes /
# plugins / includes, because if not, Google doesn't see correct pages when
# analysing Mobile ergonomy
####################################################################
Allow: /wp-includes/*.js*
Allow: /wp-includes/*.css*
Allow: /wp-content/cache/minify/*.css*
Allow: /wp-content/cache/minify/*.js*
Allow: /wp-content/plugins/*.js*
Allow: /wp-content/plugins/*.css*
Allow: /wp-content/theme/*.css*
Allow: /wp-content/theme/*.js*
####################################################################
# Ping / trackback URLs
####################################################################
Disallow: */trackback
Noindex: */trackback
####################################################################
# RSS URLs
####################################################################
Disallow: */feed
Noindex: */feed
####################################################################
# Comments URLs
####################################################################
Disallow: /*/comments
Noindex: /*/comments
####################################################################
# Special folder present on some servers
####################################################################
Disallow: /cgi-bin
Noindex: /cgi-bin
####################################################################
# Files not to be indexed
####################################################################
# We authorize crawling of CSS / JS files from cache / themes /
# plugins, because if not, Google doesn't see correct pages when
# analysing Mobile ergonomy
####################################################################
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Noindex: /*.php$
Noindex: /*.js$
Noindex: /*.inc$
Noindex: /*.css$
Noindex: /*.gz$
Noindex: /*.swf$
Noindex: /*.wmv$
Noindex: /*.cgi$
Noindex: /*.xhtml$
####################################################################
# Sitemap's address (with Yoast)
####################################################################
Sitemap: https://www.cliniquedentairedegeneve.ch/sitemap_index.xml