www.polar-strahovka.ru

User-agent: * # указываем что следующие директивы предназначены для всех роботов без исключения
Host: joom4all.ru #Директива указывает на главное зеркало сайта, по рекомендациям Яндекса её желательно размещать после директив Allow и Disallow
Disallow: /administrator
Disallow: /component/slogin/* #запрет обхода левых страниц создаваемых компонентом авторизации Slogin (если такого компонента нет, то директиву убираем)
Disallow: /component/jcomments/ #Запрещаем роботам скачивать страницы создаваемые компонентом JComments (убираем если не используется)
Disallow: /component/users #Таким же образом запрещаем обход других левых страниц
Disallow: /bin/ #Запрет обхода системных папок
Disallow: /cache
Disallow: /cli
Disallow: /includes
Disallow: /installation
Disallow: /language
Disallow: /layouts
Disallow: /libraries
Disallow: /logs
Disallow: /tmp
Disallow: /components
Disallow: /modules
Disallow: /plugins
Disallow: /component/content
Disallow: /component/contact
Disallow: /404 #закрываем 404 ошибку от глаз робота
Disallow: /index.php? #урлы с параметрами, таких страниц Joomla может создать великое множество, они не должны попасть в индекс
Disallow: /*? #урлы с вопросами
Disallow: /*% #урлы с процентами
Disallow: /*& #урлы со знаком &
Disallow: /index.php #убираем дубли, их так же быть не должно
Disallow: /index2.php #снова дубли
Allow: /*.js* #Данная директива разрешает роботам индексировать файлы с указанными расширениями.
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*
Allow: /index.php?option=com_jmap&view=sitemap&format=xml #Разрешаем обход карты сайта, в противном случае она будет под запретом.
#Включаем карту сайта
Sitemap: http://joom4all.ru/index.php?option=com_jmap&view=sitemap&format=xml #Данная директива предназначена для указания работу места хранения карты сайта в xml формате
https://www.polar-strahovka.ru