Indexée malgré le blocage par le fichier robots.txt

WRInaute passionné
Bonjour,

Dans quel cas est-il possible qu'une page soit indexée par Google alors que le fichier robots.txt interdit le crawl de cette page
Je précise que cette page en question n'avait jamais été indéxée avant la mise en place de l'interdiction dans robots.txt
 
Olivier Duffez (admin)
Membre du personnel
on en a déjà parlé dans ce forum il me semble ? selon moi ce message est une connerie de la part de Google. En gros, on a des pages qui sont ni indexées ni pas indexées
 
WRInaute passionné
ok, mais que peut faire dans mon cas (suivant) pour faire "plaisir" à Google :
suite à l'audit RM TEch j'avais retiré le nofollow de certains liens interne étant donné que j'avais mis un disallow dans mon fichier robots.txt
dois je les remettre ? pour ne plus avoir ces messages
ou enlever le nofollow et ne pas tenir compte de ces messages
 
Discussions similaires
Haut