Empécher Google de référencer certaines parties du site

latruffe

Nouveau WRInaute
Salut à tous et félicitations pour ce site et ce forum bien interessant.

Depuis Septembre, mon site à un page rank attribué par google et grâce à robotstats, j'ai pu constater que google faisait des visites régulières sur le site. Depuis début novembre, google a indéxé près de 2500 pages, je suis content.

Seul hic, les pages indexées par Google ne sont pas toutes utiles, loin de là. Le site comporte en effet un espace membre et il n'y a pas lieu de l'indéxer.

J'ai donc créer un fichier robots.txt pour lui indiquer de ne pas indéxer cette partie du site. Seul problème, il continue.

Je viens de me rendre compte que dans ma balise meta, j'ai :
Code:
<META name="robots" content="all">

Je me pose donc une question : est-ce que la balise meta prend l'ascendant sur mon fichier robot.txt ?
 

olivieri

WRInaute impliqué
effectivement la solution est le fichier robots.txt + dans chaque page a ne pas referencer la balise meta avec content="no index,no follow"
 

latruffe

Nouveau WRInaute
Sauf que je ne peux pas modifier la balise robot sur chaque page.

Mais normalement, si je vire cette balise robot et que je fais un robots.txt "propre", ça devrait marcher non ?
 

olivieri

WRInaute impliqué
En théorie oui, mais la désindéxation des pages sera peut être plus lente si tu ne force pas avec la balise meta
 

niceunef

WRInaute passionné
Cette meta-la et rien, c'est pareil. Donc il se peut que la virer ne change rien (ou si, gagner des octets et faire apparaitre une mise a jour ^^).
 

jeanluc

WRInaute accro
latruffe a dit:
Sauf que je ne peux pas modifier la balise robot sur chaque page.

Mais normalement, si je vire cette balise robot et que je fais un robots.txt "propre", ça devrait marcher non ?

Voir https://www.google.be/intl/fr/webmasters/3.html :

B. Je souhaite retirer certaines informations de l'index Google.
=> 2. Je ne souhaite pas que Google stocke une version en cache de mes pages.
=> 3. Je ne souhaite pas que Google explore certaines pages (ou l'ensemble de mon site).
=> 7. Googlebot ne respecte pas les instructions de mon fichier robots.txt.

Jean-Luc
 

Discussions similaires

Haut