beach-cruiser.nl

User-agent: Googlebot-Image
Disallow: /media/catalog/product/cache/

User-agent: MSNBot-Media
Disallow: /media/catalog/product/cache/


User-agent: *

Crawl-delay: 200
  
## Magento sitemap
Sitemap: https://www.beach-cruiser.nl/sitemap/sitemap.xml
 
Allow: /media/js/
Allow: /media/css/

Disallow: /ajax/product/quickview/


Disallow: /tools/
Disallow: /stagging/
Disallow: /staging/
 
## Niet indexeren van development bestanden en folders: CVS, svn folders en dump bestanden
Disallow: /CVS
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$
 
## Algemene Magento instellingen
 
## Niet indexeren van Magento admin pagina
Disallow: /admin/
 
## Niet indexeren van Magento technische folders
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /var/
 
## Niet indexeren van algemene Magento bestanden
Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /magmi*
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt
 
## Magento SEO verbeteringen
 
## Niet indexeren van subcategorie pagina's die zijn gefilterd of gesorteerd
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*
 
## Niet indexeren van links met sessie ID's
Disallow: /*?SID=
 
## Niet indexeren van checkout en gebruikeraccount pagina's
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/
 
## Niet indexeren van zoekpagina's en niet-SEO geoptimaliseerde catalogus links
Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
# Disallow: /catalog/category/view/
# Disallow: /catalog/product/view/
 
## Server instellingen
 
## Niet indexeren van technische server folders en bestanden
Disallow: /cgi-bin/
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
Disallow: /phpinfo.php

Disallow: /tools/
Disallow: /staging/
Disallow: /stagging/
Disallow: /kruitbosch/