Google préfère le "nofollow" ou le blocage par le robot.txt ?

[bartom_34]

Googlebot a rencontré des problèmes lors de l'exploration de votre site http://www.webecologie.com/.
Googlebot a trouvé un nombre de liens extrêmement élevé sur votre site. Cela peut signifier qu'il existe un problème de structure dans l'URL de votre site. Googlebot explore peut-être un grand nombre d'URL distinctes qui pointent vers un contenu identique ou semblable, ou explore des parties de votre site qu'il n'est pas censé explorer. Par conséquent, il est possible que Googlebot utilise une quantité de bande passante beaucoup plus importante que nécessaire, ou encore il peut être dans l'incapacité d'indexer intégralement le contenu de votre site.
Plus d'informations sur ce problème
Voici des exemples d'URL susceptibles d'être à l'origine d'erreurs. Veuillez noter que cette liste ne contient pas toutes les URL de votre site qui posent problème.
- http://www.monsite.com/mapage.php?id=3421

J'ai eu le message suivant sur mon GWT. Hors, j'ai mapage.php reistreinte d'accès dans mon robot.txt. Google préfèrerait-il l'attribut nofollow à un blocage depuis le fichier robot.txt ?

 

[Khal3d]

à mon avis une ligne dans robots.txt est plus efficace qu'un tag.

 

[anemone-clown]

C'est robots.txt (avec un "s") et pas robot.txt : j'ai déjà vu l'erreur sur des serveurs... je préviens, on ne sait jamais.

Si le fichier que tu dis avoir mis dans le robots.txt est encore lu, c'est que l'ordre n'est pas bon.

Il existe un système de validation dans les outils pour webmaster (GWT) de ton compte pour le fichier robots.txt de ton site : as-tu vérifié cette validité?

Dans le cadre d'une gestion "in page", le nofollow ne servirait à rien : il faudrait alors un noindex et noarchive pour empêcher le crawl.

 

[bartom_34]

@Khal3d, Ce qu'il faudrait savoir c'est si le robot Google regarde le robot.txt avant de scanner le site ou s'il scanne le site puis regarde les pages interdites. J'ai l'impression que c'est la seconde solution puisqu'il me remonte des URLs dans mon GWT tandis que ces pages sont interdites d'accès dans le robot.txt.

@anemone-clown, le robot passe bien et fonctionne bien puisque je n'ai aucune page avec mapage.php dans l'index de Google (site:monsite allinurl:mapage).