J'ai un doute sur le robots.txt

Discussion dans 'Débuter en référencement' créé par nza2k, 15 Mars 2010.

  1. nza2k
    nza2k WRInaute impliqué
    Inscrit:
    16 Janvier 2004
    Messages:
    898
    J'aime reçus:
    2
    Bonjour,

    J'ai un petit doute sur une syntaxe du robots.txt.

    J'aimerais autoriser l'indexation de l'url monsite.com/fichier.htm
    Mais interdire l'indexation de toutes urls "doublons" de type monsite.com/fichier.htm?variable=valeur

    Suffit-il d'insérer la commande suivante dans le robots.txt :

    Code:
    Disallow: /fichier.htm?
    
    Bien entendu, je pourrais faire des tests en PHP pour insérer, ou pas, une méta robot dans le head, mais l'utilisation du fichier robots.txt me paraît plus propre et efficace (d'un point de vue technique).

    Merci par avance pour votre aide
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 558
    J'aime reçus:
    658
  3. nza2k
    nza2k WRInaute impliqué
    Inscrit:
    16 Janvier 2004
    Messages:
    898
    J'aime reçus:
    2
    Le contenu n'est pas exactement le même. Il y a en fait différentes variables qui servent notamment à trier une même liste dans un ordre différent.

    Je ne pense pas que l'url canonique soit la réponse adéquate à ce type de problématique, à moins que je me trompe ?
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 558
    J'aime reçus:
    658
    si c'est juste du tri, alors je te conseille la balise d'URL canonique ou le traitement des paramètres dans GWT
     
  5. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 467
    J'aime reçus:
    0
    Uniquement pris en charge par Google-Bot.
    Source
     
  6. nza2k
    nza2k WRInaute impliqué
    Inscrit:
    16 Janvier 2004
    Messages:
    898
    J'aime reçus:
    2
    Merci à vous deux.

    Bon, je pense que je vais ajouter un meta pour l'url canonique
     
  7. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    C'est parfaitement correct.

    Les remarques d'Olivier le sont aussi !

    Jean-Luc
     
  8. cedric_g
    cedric_g WRInaute accro
    Inscrit:
    18 Janvier 2006
    Messages:
    2 963
    J'aime reçus:
    1
    Bonjour

    Pour ma part, sur les sites e-commerce que je gère j'utilise deux choses :
    - la balise URL Canonique
    - la balise META robots (à "noindex,follow" uniquement pour les pages avec pagination >2 et/ou tri des articles)

    Je fais le test pour chaque page, dès le début d'appel de page (cela me permet au passage de vérifier l'unicité de l'URL... et de faire une redirection 301 en cas de différence latente)

    Le bilan est très positif :)

    Bien évidemment faut éviter d'avoir 50 pages de produits dans une catégorie unique, mais de manière générale ça fonctionne vraiment bien.
     
  9. masterblaster
    masterblaster WRInaute discret
    Inscrit:
    27 Mars 2007
    Messages:
    147
    J'aime reçus:
    0
    Moi aussi j'ai un doute sur le Robots.txt

    qu'est ce qui sera désindexé avec ceci :

    Disallow: /dossier/sous-dossier/

    ... Uniquement le sous-dossier n'est ce pas ? Merci


    Je m'écarte peut être du sujet, mais tu devrais revérifier tes redirections sur ton blog pour chats (je te donne une piste Nom de chat commençant par la lettre A)
     
Chargement...
Similar Threads - doute robots Forum Date
J'ai un doute métaphysique Référencement Google 8 Avril 2021
Sites Referrer douteux Débuter en référencement 27 Avril 2017
Backlink douteux et désaveux Netlinking, backlinks, liens et redirections 1 Septembre 2016
Explosion douteuse du nombre de visiteurs Administration d'un site Web 13 Février 2015
Origine géographique douteuse Problèmes de référencement spécifiques à vos sites 14 Octobre 2014
La longue traîne, encore un doute Débuter en référencement 25 Mai 2014
S'agit-il d'une pratique douteuse ? Problèmes de référencement spécifiques à vos sites 18 Novembre 2013
Doute au sujet de l'emplacement du code de suivi Google Analytics 11 Août 2013
Adsense, vraiment aucun impact sur le référencement ? J'en doute ! Référencement Google 21 Août 2012
Penser URL, j'ai un doute Débuter en référencement 2 Août 2012