User-Agent: *
Allow: /
# Crawl-delay: 10
Disallow: /bitrix/
Disallow: /personal/ #личный кабинет
Disallow: /registration/ #страница регистрации
Disallow: /cart/ #Корзина
Disallow: /order/ #страница оформления заказа
Disallow: /*?order= #страница "заказ оформлен"
Disallow: /search/ #страницы с результатами поиска
Disallow: /sitemap/ #карта сайта
Disallow: /test/ #тестовая страница (когда она есть)
Disallow: /proto/ #прототип
Disallow: /*?* #Запрет индексации динамических ссылок
Disallow: /?view=list #Вид каталога - список.
Disallow: /*from=adwords #дубли URL с параметром, при переходе с эдвордса
Disallow: /*utm_source=direct #дубли URL с параметром, при переходе с директа
Disallow: /*_openstat #дубли URL с параметром openstat
Disallow: *print= #страницы "для печати"
Disallow: /*login=yes #URL страницы после авторизации
Disallow: /*logout=yes #URL страницы после деавторизации
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*.xls
Disallow: /*.zip$
host: busovo.ru
Sitemap: http://busovo.ru/sitemap.xml