Fichier robots.txt VS balise meta robots

Discussion dans 'Débuter en référencement' créé par Spriter, 24 Août 2010.

  1. Spriter
    Spriter Nouveau WRInaute
    Inscrit:
    20 Juillet 2009
    Messages:
    9
    J'aime reçus:
    0
    Salut,

    J'ai une question concernant la priorité vis à vis des moteurs de recherche entre le fichier robots.txt et les meta robots attachées aux pages du site. Je m'explique, j'ai une boutique en ligne qui fait partie d'un site principal: le site principal en HTML contient à la racine de son hébergement un fichier robots.txt et un sitemap.xml pour organiser le référencement des pages. La boutique en ligne est comme un second site en PHP cette fois dans un répertoire du site principal.

    Je ne souhaite pas que soit référencée cette boutique car elle s'adresse uniquement aux membres professionnels de l'association a qui appartient le site. Alors mes questions sont :

    1) - si j'exclue le répertoire du site principal ou est installée la boutique du fichier robots.txt et du sitemap.xml à la racine de l'hébergement, cela suffit il ou dois-je rajouter dans le répertoire de ma boutique un nouveau fichier robots.txt (on peut accéder à la boutique sans passer par le site principal pour les adhérents qui l'ont dans leurs favoris, et s'il y a une google barre sur le navigateur j'ai lu que ca pouvait faciliter le référencement).

    2) - d'autre part une meta robots sur chaque page de la boutique affiche un index et follow, si un robots.txt spécifiant le contraire est dans répertoire d'installation de la boutique a t'il priorité ou dois-je corriger les balises des pages ?

    Merci beaucoup pour votre aide !
     
  2. taeky
    taeky Nouveau WRInaute
    Inscrit:
    20 Août 2006
    Messages:
    18
    J'aime reçus:
    0
    Salut,

    Normalement en rajoutant a ton robots.txt la ligne suivante
    Code:
    Disallow: /répertoire-de-la-boutique/
    ça devrait suffir

    ++
     
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Les directives de robots.txt disent aux robots de ne pas lire une page ou un groupe de pages. Comme le robot qui respecte ces directives ne lit pas les pages concernées, il ne sait pas si elles contiennent une META avec (no)index, (no)follow. Cette balise META est donc sans effet sur les pages exclues par robots.txt.

    Jean-Luc
     
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    "Ne pas visiter une page" ne veut pas nécessairement dire "ne pas l'indexer". Les pages non visitées par le robot ne sont habituellement pas indexées, mais il y a quelques exceptions, comme celle que tu cites. Les pages indexées qui n'ont pas été visitées apparaissent d'ailleurs sans lien vers le contenu en cache Google (normal puisqu'il n'y en a pas). C'est un phénomène asssez rare et ce n'est généralement pas utile de s'en préoccuper.

    Jean-Luc
     
  6. Spriter
    Spriter Nouveau WRInaute
    Inscrit:
    20 Juillet 2009
    Messages:
    9
    J'aime reçus:
    0
    Bon ok merci, si je rajoute la ligne d'exclusion du dossier d'installation de ma boutique à la racine de mon site, soit un niveau de répertoire plus haut, cela va t'il suffire pour les visiteurs qui accedront directement à la boutique via un favoris et avec la fameuse Google bar dont on m'a dit qu'elle pouvait activer un référencement de pages inconnues jusqu'alors par Google sachant que le fichier robot sera un répertoire plus haut ?

    Merci en tous les cas pour votre aide !
     
  7. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Si ces pages sont "secrètes" et si tu veux qu'elles soient uniquement vues pas les personnes autorisées, il n'y a pas 36 solutions: login avec nom d'utilisateur et mot de passe. Toutes les autres solutions n'empêcheront pas d'avoir un lien vers ces pages quelque part sur un moteur de recherche ou sur un autre site.

    Jean-Luc
     
  8. Spriter
    Spriter Nouveau WRInaute
    Inscrit:
    20 Juillet 2009
    Messages:
    9
    J'aime reçus:
    0
    Salut,

    Bon merci pour vos réponses, et non ces pages ne sont pas secrètes puisque clairement accessible depuis le site mais disons que ca n'intéresse que les adhérents et surtout c'est une partie en CMS du site avec des URL vraiment pas optimisées et qui font du duplicate content malgré les optimisations d'usage (c'est connu sur ce CMS) alors plutôt que de bousiller mon référencement pour une partie du site qui n'intéresse pas grand monde, je voulais pas que les moteurs aillent dessus voila.

    Mais c'est bon entre temps j'ai pu mettre en cohérences les méta sur noindex,nofollow :D !
     
  9. tutela
    tutela WRInaute discret
    Inscrit:
    28 Avril 2009
    Messages:
    50
    J'aime reçus:
    0
    Bonjour,

    Est-ce que le fichier robots.txt a une grosse influence sur le référencement.

    Le fait de laisser celui de base, ou d'ajouter des paramètres aide, ou ne sert à rien comme quasiment les balises méta.

    Merci

    Fred
    http://www.melocafe.fr
     
Chargement...
Similar Threads - Fichier robots balise Forum Date
Balises META et fichier robots txt Débuter en référencement 11 Mars 2005
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Où puis-je configurer le fichier robots.txt et le htaccess ? Débuter en référencement 10 Avril 2018
Résolu Toutes les URL bloquées par le fichier robots.txt Crawl et indexation Google, sitemaps 28 Mars 2018
Prise en compte du fichier robots.txt Crawl et indexation Google, sitemaps 22 Avril 2017
Mon fichier robots.txt wordpress Développement d'un site Web ou d'une appli mobile 24 Octobre 2016
Ne pas indexer une page avec le fichier robots.txt Débuter en référencement 20 Juillet 2016
Page panier indexée plusieurs fois (duplicate content) ainsi que robots.txt et fichier map Crawl et indexation Google, sitemaps 17 Mars 2016
La description de ce résultat n'est pas accessible à cause du fichier robots.txt Crawl et indexation Google, sitemaps 31 Juillet 2015