User-agent: *
Crawl-delay: 10
# Directories
Disallow: /8ea75aed75f6795af26bc6b00d002672/
Disallow: /adcf16ab00b9ff64e5577a174a38a254e4ccc4ec/
Disallow: /old/
Disallow: /SpryAssets/
Disallow: /cgi-bin # классика...
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search # поиск
Disallow: /author/ # архив автора
Disallow: *?attachment_id= # страница вложения. Вообще-то на ней редирект...
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
#Disallow: */page/ # все виды пагинации
Disallow: /gallery # старый сайт
Disallow: /books # старый сайт
Disallow: /node_print # старый сайт
Disallow: /selected # старый сайт
Disallow: /tests # старый сайт
Disallow: /comment/ # комментарии старый сайт
Disallow: /news # старый сайт
Disallow: /user # старый сайт
Allow: */uploads # открываем uploads
Allow: /*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf # файлы в плагинах, cache папке и т.д.
#Disallow: /wp/ # когда WP установлен в подкаталог wp
Sitemap: http://old-land.ru/sitemap.xml
#Sitemap: http://site.ru/sitemap2.xml # еще один файл
#Sitemap: http://site.ru/sitemap.xml.gz # сжатая версия (.gz)
Host: old-land.ru # для Яндекса и Mail.RU. (межсекционная)Host: old-land.ru