doverie.mobi

User-agent: Googlebot        # все файлы WP: /wp-json/, /wp-includes  Disallow: /wp- 
Disallow: /cgi-bin          # классика...
Disallow: /?                # все параметры запроса на главной
Disallow: /wp-admin/*
Disallow: /wp-includes/*
Disallow: /wp-content/files/*
Disallow: /wp-content/upgrade/*         
Disallow: *?s=              # поиск
Disallow: *&s=              # поиск
Disallow: /search           # поиск
Disallow: /author/          # архив автора
Disallow: *?attachment_id=  # страница вложения.
Disallow: */trackback
Disallow: */feed            # все фиды
Disallow: */embed           # все встраивания
Disallow: */page/           # все виды пагинации
Allow: */uploads            # открываем uploads
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.

Host: doverie.mobi
User-agent: Googlebot-Image
Allow: /wp-content/uploads/*
Disallow: /
User-agent: Mediapartners-Google*
Allow: /*
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://doverie.mobi/sitemap.xml

User-agent: YandexBot
Disallow: /wp-admin/*
Disallow: /wp-includes/*
Disallow: /wp-content/files/*
Disallow: /wp-content/upgrade/*
Disallow: /trackback/*
Disallow: /feed/*
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: /cgi-bin/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /trackback/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: doverie.mobi
Sitemap: http://doverie.mobi/sitemap.xml

User-agent: YandexImages
Allow: /wp-content/uploads/*
Disallow: /
User-agent: BLEXBot
Crawl-delay: 100