User-agent: * # общие правила для всех роботов
# --- закрываем от индексации: ---
Disallow: /cgi-bin # папку на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP
Disallow: /admin/ # админку
Disallow: /wp-admin/ # админку
Disallow: /category/ # категории
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */page/ # все виды пагинации
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: /www.blogger.com/ # *** временно ***
# --- открываем для индексации: ---
Allow: */uploads # папку с файлами uploads
User-agent: GoogleBot # правила для Google
# --- закрываем от индексации: ---
Disallow: /cgi-bin # папку на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP
Disallow: /admin/ # админку
Disallow: /wp-admin/ # админку
Disallow: /category/ # категории
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */page/ # все виды пагинации
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: /www.blogger.com/ # *** временно ***
# --- открываем для индексации: ---
Allow: */uploads # папку с файлами uploads
Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png # картинки в плагинах, cache папке
Allow: /wp-*.jpg # картинки в плагинах, cache папке
Allow: /wp-*.jpeg # картинки в плагинах, cache папке
Allow: /wp-*.gif # картинки в плагинах, cache папке
Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS
User-agent: Yandex # правила для Яндекса
# --- закрываем от индексации: ---
Disallow: /cgi-bin # папку на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP
Disallow: /admin/ # админку
Disallow: /wp-admin/ # админку
Disallow: /category/ # категории
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */page/ # все виды пагинации
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: /www.blogger.com/ # *** временно ***
# --- открываем для индексации: ---
Allow: */uploads # папку с файлами uploads
Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png # картинки в плагинах, cache папке
Allow: /wp-*.jpg # картинки в плагинах, cache папке
Allow: /wp-*.jpeg # картинки в плагинах, cache папке
Allow: /wp-*.gif # картинки в плагинах, cache папке
Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS
Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать от индексирования, а удалять параметры меток, Google такие правила не поддерживает
Clean-Param: openstat # аналогично
Host: www.1001-dollar.com
Sitemap: http://site.ru/sitemap.xml # карта сайта Google XML Sitemap
Sitemap: http://site.ru/sitemap.xml.gz # сжатая версия карты сайта Google XML Sitemap
# файл robots.txt составлен на основе статей в seogio.ru, wp-kama.ru и моих собсвтенных мыслей :-)