simuler sur un serveur de Dev le comportement du bot Google

[netim]

Hello tout le monde,

J'aimerai savoir s'il est possible de simuler sur un serveur de Dev le comportement du bot Google ?

Quelqu'un aurait il une réponse à cette question ?

merci beaucoup

 

[YoyoS]

Dans les outils webmasters de google tu peux envoyer n'importe quel bot (useragent) sur un site pour voir le robots.txt en tout cas.
Si ça peut aider

 

[Leonick]

ça veut dire quoi "simuler" ? avoir le même UA ou crawler ?

 

[netim]

Crawler les URL, et voir en debug ce qu'il se passe, s'il y a des erreurs ou non

 

[StefouFR]

Bonjour,

utilise GWT ça sera plus simple alors.

Menu Etat de santé > Explorer comme Google.

 

[UsagiYojimbo]

Si c'est juste un crawler que tu cherches, tu peux utiliser un outils comme Xenu.

 

[Leonick]

Xenu (pour connaitre les 301, 404,...) et sinon, weblide http://alexandre.alapetite.fr/distribution/weblide/?r=Weblide2.0.2752.30016 qui est un super validateur de page