GoogleBot boude mon site sauf la page d'accueil

Nouveau WRInaute
Boujour à tous,

Je ne comprend pas trop, je viens d'installer le script robotstats depuis une semaine environ et je m'appercois que google passe tout les jours vers les 5h30 du matin uniquement sur ma page d'accueil et puis repart. Alors que d'autre moteur tel que yahoo ou msn passe sur plusieur de mes pages :?:

Est ce que quelqu'un a une idée :?:
 
Nouveau WRInaute
normal je n'ai pas de page robot.txt donc une erreur 404

j'ai pas bien compris le but du fichier robot.txt si ce n'ai d'interdir l'acces à une parti du site au robot. hors je n'ai rien à leur interdire sauf peu etre le répertoir de robotstats
 
WRInaute impliqué
je penses qu'il vaudrait quand même mieux placer un fichier robots.txt avec le contenu autorisant la lecture, sauf éventuellement le dossier robotstats.
Je n'ai plus la syntaxe sous la main, mais une recherche dans gg te la donnera.
 
Discussions similaires
Haut