Petit problème avec robots.txt et outil des webmasters

WRInaute discret
Bonjour,

J'ai un petit soucis avec mon robots.txt.

Il se trouve en effet que j'ai certaines balises title manquantes, en double, etc. du fait que Prestashop (que j'utilise, donc), présente certaines limites en la matière.

Par exemple, ma page "informations" n'a pas de title. J'ai donc mis dans robots.txt : Noindex: http://www.kosmeopolis.com/content/category/4-informations

J'ai également demandé à Google de supprimer la page de l'index et du cache. Tout a fonctionné pendant une semaine mais j'ai à nouveau les erreurs dans outils des webmasters > améliorations HTML.

Je suppose que cela vient de "nonindex" qui n'est pas bon et j'en arrive donc à ma question : dois-je mettre "Disallow" ? Cela fonctionne-t-il pour une page ?

Merci d'avance !

P.s : si quelqu'un peut m'expliquer ce que signifie l'étoile dans Disallow: /*controller=addresses cela m'aiderait également :)
 
WRInaute accro
Bonjour,

Je confirme qu'on n'utilise pas "noindex" dans robots.txt. Tu peux utiliser:
Code:
Disallow: /content/category/4-informations
Ainsi les robots ne visiteront plus la page, mais cela ne provoquera pas directement la désindexation.

Que la page n'ait pas de titre ne me semble pas être une bonne raison pas pour vouloir la désindexer.

Jean-Luc
 
WRInaute discret
Bonjour et merci.

En fait c'est une catégorie qui ne fait rien d'autre que contenir des pages ^^

J'aimerais également désindexer des pages n°2 de catégories (exemple : meilleures ventes page 2)

Mon objectif est d'avoir moins de pages indexées mais celles qui le sont le soient bien.

Je peux donc faire disallow pour une seule page en particulier ? Puis-je mettre l'URL ou bien dois-je obligatoirement mettre /content/xxxx ou encore /31-rouge-a-levres-x
 
WRInaute accro
Je peux donc faire disallow pour une seule page en particulier ? Puis-je mettre l'URL ou bien dois-je obligatoirement mettre /content/xxxx ou encore /31-rouge-a-levres-x

Aide toi et le dieu gogole t'aidera : http://robots-txt.com/

Si tu veux desindexer des pages, passe par GWT, il suffit d'indiquer a Gogole ce que tu veux virer de son index.
Optimisation -> URL à supprimer » puis cliquer sur le bouton « Nouvelle demande de suppression ».
https://support.google.com/webmasters/answer/1663691?hl=fr

:mrgreen:
 
WRInaute occasionnel
C'est quand même mieux d'utiliser une balise meta noindex sur les pages avec une condition PHP "si la page a un paramètre numérique alors afficher balise meta noindex".
Le robot.txt ne fait que bloquer l'accès des pages aux robots et ne permet pas de désindexer en principe.
 
WRInaute accro
Le robot.txt ne fait que bloquer l'accès des pages aux robots et ne permet pas de désindexer en principe.

Robots.tx permet d'eviter l'indexation, donc de prendre le probleme au depart. Pas d'indexation = pas besoin de desindexer.

Pour desindexer = GWT

:mrgreen:
 
WRInaute discret
Bonjour,

étrange car j'ai bien mis nonindex, j'ai tout supprimé via l'outil de suppression manuel et cela a tenu... 1 semaine !!
 
WRInaute accro
J'ai appris quelque chose de neuf avec ce noindex non-standard mais qui marche avec Google. :wink:

Tu utilises
Code:
Noindex: http://www.kosmeopolis.com/content/category/4-informations

Dans les liens indiqués dans les autres messages, c'est comme ceci:
Code:
Noindex: /content/category/4-informations

Jean-Luc
 
Discussions similaires
Haut