Photos bloquées par le fichier robots.txt selon GWT

Nouveau WRInaute
Bonjour,
en lançant la fonction "voir comme google" sur GWT, parmi les erreur sont indiquées toutes les photos,
j'aimerai comprendre comment ça ce fait.

voici ce que j'ai dans le fichier robots.txt :

User-agent : *
Crawl-delay: 1

User-Agent: Googlebot
Disallow : /*?
Disallow : /*=

User-agent: Exabot
Crawl-delay: 1

User-Agent: MJ12bot
Crawl-Delay: 10

User-Agent: AhrefsBot
Crawl-Delay: 10

User-agent: msnbot
Crawl-delay: 1

Merci de votre aide.
 
Nouveau WRInaute
Re: Photos bloqué par le fichier robots.txt selon GMT

Ayant eu pas mal de surcharge sur le serveur, ont a souhaité limiter les bots trop groumant, mis à part google bot, qui selon mes infos n'est pas concerné par la balise Crawl-delay.

Le but de :
User-agent : *
Crawl-delay: 1
Dire à tous les bots qui en sont capable, de laisser 1 seconde entre chaque requête

User-Agent: Googlebot
Disallow : /*?
Disallow : /*=
Dire à google bot de ne pas indexer les pages avec url contenant ? ou =
 
Nouveau WRInaute
J'ai vidé le ficher robots.txt est le message de blocage des photos par le robot n'est plus indiqué dans WMT,
en attendant vos conseils pour mieux compléter ce fichier,
merci.
 
Discussions similaires
Haut