Pourquoi mes tags (restreint par robots.txt) sont ils référencés par Google?

WRInaute discret
Un bonjour matinal! :mrgreen:

Tout d'abord, un grand merci à la communauté qui m'a permise d'avancer depuis mes balbutiements. La tache fut périlleuse mais vous avez su être patient et répondre à mes questions les plus stupides sans trop vous moquer... Pour cela je vous remercie (Et j'ai devancé Madrileno en mettant un lien vers webrankinfo sur mon blog :mrgreen: )

Ensuite j'ai de nouveau une question! :lol:

J'ai mis un fichier robots.txt à la racine de mon blog. Je pense y avoir mis pas mal de chose, j ai bien compris avec le temps qu'il ne servait à rien de chercher à faire indexer un tas de trucs, vu que Google est un poil tatillon.

J ai demandé le réexamen de mon blog vu que mes images sont pénalisés par le Safe Search, 1 image est réapparue venue de nulle part, c'est un bon début, peut être que dans 5 ans j'aurais enfin toutes mes images :roll: Mais là n'est pas le propos.

Comment ça se fait de Google se remet à indexer mes tags, alors que j'ai restreint l'accès dans mon ficher robots.txt? Mon nombre de pages indexé est en augmentation (il n'y a pas si longtemps avant tous mes changements sur le blog j'en étais à moins de 100pages indexés pas Google) je ne m'en plains pas, mais je voudrais juste comprendre comment c'est possible?

Ensuite: Mon robots.txt est visible pas tous, comment le caché?

Merci :D
 
WRInaute accro
>> Mon robots.txt est visible pas tous, comment le caché?

comment veux-tu que les moteurs puissent le lire si tu le cache ? :)
 
WRInaute discret
Merci!
bah j'avais pas compris ça moi! :?

Mais alors mon robots.txt est correct pour éviter le duplicate content? (c'était mon but premier en fait...)

J'ai lu le lien que vous m'avez mis, mais j'ai du mal à comprendre la différence en noindex et nofollow...
 
Discussions similaires
Haut