Petit problème avec robots.txt et outil des webmasters

Discussion dans 'Débuter en référencement' créé par Kosmeo, 30 Juin 2014.

Tags:
  1. Kosmeo
    Kosmeo WRInaute discret
    Inscrit:
    6 Février 2014
    Messages:
    67
    J'aime reçus:
    0
    Bonjour,

    J'ai un petit soucis avec mon robots.txt.

    Il se trouve en effet que j'ai certaines balises title manquantes, en double, etc. du fait que Prestashop (que j'utilise, donc), présente certaines limites en la matière.

    Par exemple, ma page "informations" n'a pas de title. J'ai donc mis dans robots.txt : Noindex: http://www.kosmeopolis.com/content/category/4-informations

    J'ai également demandé à Google de supprimer la page de l'index et du cache. Tout a fonctionné pendant une semaine mais j'ai à nouveau les erreurs dans outils des webmasters > améliorations HTML.

    Je suppose que cela vient de "nonindex" qui n'est pas bon et j'en arrive donc à ma question : dois-je mettre "Disallow" ? Cela fonctionne-t-il pour une page ?

    Merci d'avance !

    P.s : si quelqu'un peut m'expliquer ce que signifie l'étoile dans Disallow: /*controller=addresses cela m'aiderait également :)
     
    #1 Kosmeo, 30 Juin 2014
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour,

    Je confirme qu'on n'utilise pas "noindex" dans robots.txt. Tu peux utiliser:
    Code:
    Disallow: /content/category/4-informations
    Ainsi les robots ne visiteront plus la page, mais cela ne provoquera pas directement la désindexation.

    Que la page n'ait pas de titre ne me semble pas être une bonne raison pas pour vouloir la désindexer.

    Jean-Luc
     
    #2 jeanluc, 30 Juin 2014
  3. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    788
    J'aime reçus:
    0
    surtout que la page a bien un titre.
     
    #3 loubet, 30 Juin 2014
  4. Kosmeo
    Kosmeo WRInaute discret
    Inscrit:
    6 Février 2014
    Messages:
    67
    J'aime reçus:
    0
    Bonjour et merci.

    En fait c'est une catégorie qui ne fait rien d'autre que contenir des pages ^^

    J'aimerais également désindexer des pages n°2 de catégories (exemple : meilleures ventes page 2)

    Mon objectif est d'avoir moins de pages indexées mais celles qui le sont le soient bien.

    Je peux donc faire disallow pour une seule page en particulier ? Puis-je mettre l'URL ou bien dois-je obligatoirement mettre /content/xxxx ou encore /31-rouge-a-levres-x
     
    #4 Kosmeo, 30 Juin 2014
  5. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 952
    J'aime reçus:
    315
    Aide toi et le dieu gogole t'aidera : http://robots-txt.com/

    Si tu veux desindexer des pages, passe par GWT, il suffit d'indiquer a Gogole ce que tu veux virer de son index.
    Optimisation -> URL à supprimer » puis cliquer sur le bouton « Nouvelle demande de suppression ».
    https://support.google.com/webmasters/answer/1663691?hl=fr

    :mrgreen:
     
    #5 Furtif, 30 Juin 2014
  6. Doubrovski
    Doubrovski WRInaute occasionnel
    Inscrit:
    9 Avril 2011
    Messages:
    443
    J'aime reçus:
    0
    C'est quand même mieux d'utiliser une balise meta noindex sur les pages avec une condition PHP "si la page a un paramètre numérique alors afficher balise meta noindex".
    Le robot.txt ne fait que bloquer l'accès des pages aux robots et ne permet pas de désindexer en principe.
     
    #6 Doubrovski, 30 Juin 2014
  7. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 952
    J'aime reçus:
    315
    Robots.tx permet d'eviter l'indexation, donc de prendre le probleme au depart. Pas d'indexation = pas besoin de desindexer.

    Pour desindexer = GWT

    :mrgreen:
     
    #7 Furtif, 30 Juin 2014
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 973
    J'aime reçus:
    121
    #8 UsagiYojimbo, 30 Juin 2014
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 673
    J'aime reçus:
    750
    #9 WebRankInfo, 30 Juin 2014
  10. Kosmeo
    Kosmeo WRInaute discret
    Inscrit:
    6 Février 2014
    Messages:
    67
    J'aime reçus:
    0
    Bonjour,

    étrange car j'ai bien mis nonindex, j'ai tout supprimé via l'outil de suppression manuel et cela a tenu... 1 semaine !!
     
    #10 Kosmeo, 1 Juillet 2014
  11. webac
    webac WRInaute occasionnel
    Inscrit:
    4 Mars 2005
    Messages:
    385
    J'aime reçus:
    0
    attention c'est noindex et non nonindex
     
    #11 webac, 1 Juillet 2014
  12. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    J'ai appris quelque chose de neuf avec ce noindex non-standard mais qui marche avec Google. :wink:

    Tu utilises
    Code:
    Noindex: http://www.kosmeopolis.com/content/category/4-informations
    Dans les liens indiqués dans les autres messages, c'est comme ceci:
    Code:
    Noindex: /content/category/4-informations
    Jean-Luc
     
    #12 jeanluc, 1 Juillet 2014
  13. Kosmeo
    Kosmeo WRInaute discret
    Inscrit:
    6 Février 2014
    Messages:
    67
    J'aime reçus:
    0
    Heu, oui webac j'ai bien mis noindex.

    Donc, en résumé : je ne mets pas http://www.kosmeopolis.com/xxx mais /xxx c'est bien cela ?

    Exemples concrets :

    /meilleures-ventes?p=2
    ou
    /content/2-mentions-legales
    ou encore
    /3-ongles?p=2

    Ais-je bien compris ?
     
    #13 Kosmeo, 2 Juillet 2014
  14. Geo2frey
    Geo2frey Nouveau WRInaute
    Inscrit:
    22 Janvier 2010
    Messages:
    11
    J'aime reçus:
    0
    Tu as bien compris. Ne rentre pas ton NDD dans ton robots.txt.
     
    #14 Geo2frey, 6 Juillet 2014
  15. Kosmeo
    Kosmeo WRInaute discret
    Inscrit:
    6 Février 2014
    Messages:
    67
    J'aime reçus:
    0
    OK, merci !!
     
    #15 Kosmeo, 6 Juillet 2014
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - problème robots outil Forum Date
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
Problème robots Débuter en référencement 7 Décembre 2017
Balisage des informations relatives à l'auteur non validé et problème avec robots.txt Débuter en référencement 11 Décembre 2014
Problème fichier robots.txt Problèmes de référencement spécifiques à vos sites 3 Novembre 2014
Problème Robots.txt et sitemap Débuter en référencement 13 Juillet 2014
Problème avec robots.txt Crawl et indexation Google, sitemaps 8 Janvier 2014
Problème avec mon robots.txt Débuter en référencement 25 Mars 2013
Problème de robots.txt Problèmes de référencement spécifiques à vos sites 19 Décembre 2012
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Probleme fichier robots et google. Problèmes de référencement spécifiques à vos sites 10 Décembre 2012
Probleme robots.txt Crawl et indexation Google, sitemaps 9 Décembre 2012
Probléme robots.txt Crawl et indexation Google, sitemaps 13 Juillet 2012
Problème d'indexation : robots.txt Crawl et indexation Google, sitemaps 27 Avril 2012
Problème GWT et robots.txt Crawl et indexation Google, sitemaps 8 Mai 2011
Probleme sitemap / robots.txt inaccessible Problèmes de référencement spécifiques à vos sites 26 Août 2010
Problème robots.txt Débuter en référencement 17 Mai 2010
REFERER désactivé : problème pour les robots d'indexations ? Développement d'un site Web ou d'une appli mobile 30 Mars 2010
Problème avec le fichier robots.txt Référencement Google 11 Mars 2010