User-agent: * # правила для всех роботов
Disallow: /cgi-bin # папка на хостинге
Disallow: /manager/ # авторизация
Disallow: /assets/ # папка с системными файлами modx
Disallow: /core/ # папка с системными файлами modx
Disallow: /connectors/ # папка с системными файлами modx
Disallow: /Docs/ # папка с документами
Disallow: /images/ # папка с картинками новостей
Disallow: /index.php # дубли страниц index.php
Disallow: *?* # ссылки с параметрами
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: *from= # ссылки с метками from
# Укажите один или несколько файлов Sitemap
Sitemap: http://gcbip.by/sitemap.xml
Sitemap: http://gcbip.by/sitemap.xml.gz
# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: gcbip.by