Robots.txt pour Google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par daza, 21 Octobre 2015.

  1. daza
    daza WRInaute discret
    Inscrit:
    10 Juillet 2005
    Messages:
    93
    J'aime reçus:
    0
    Bonjour,

    étant donné que seul Google accepte la balise Noindex dans le fichier robots.txt, je souhaite donc mettre disallow pour les autres moteurs dont Bing, Yahoo...

    ça va donner :

    User-agent: Googlebot
    Noindex: /page1

    User-agent: *
    Disallow: /page1

    Est-ce que Google risque de traiter le Disallow: /page1 ? Ou bien il s'en tiendra à ne traiter que ce qui concerne User-agent: Googlebot ?

    Merci.
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 692
    J'aime reçus:
    219
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 887
    J'aime reçus:
    0
    Bonjour,

    L'emploi de noindex dans robots.txt est non standard et est même déconseillé par Google.

    John Mueller dit:
    Jean-Luc
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 753
    J'aime reçus:
    252
  5. daza
    daza WRInaute discret
    Inscrit:
    10 Juillet 2005
    Messages:
    93
    J'aime reçus:
    0
    Merci WRI, mais j'ai déjà lu ton article ainsi que tout ce qui se rapporte au robots.txt.
    seulement un test que que j'ai fais il y a quelques mois semble montrer que GG ne tiens plus compte du User-agent: *, si il y a User-agent: Googlebot. Mais c'était peut être dans un cas précis, d'où le doute.

    Pour le Noindex: dans le robots.txt, je sais qu'il est déconseillé, mais dans mon cas c'est pour désindexer des pages complètement inutiles en DC, qui sont des URL dynamiques générées par un filtre de recherche produit. Le Disallow: ne ferai qu'interdit leur crawl, alors que le but est de les crawler pour les désindexer.
     
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 692
    J'aime reçus:
    219
    Alors si c'est pour désindexer: meta robots.
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 753
    J'aime reçus:
    252
    si tu as la chance d'avoir toutes les URL à désindexer dans un même répertoire, tu peux :
    - interdire ce répertoire au crawl
    - puis demander la désindexation du répertoire dans search console
     
  8. daza
    daza WRInaute discret
    Inscrit:
    10 Juillet 2005
    Messages:
    93
    J'aime reçus:
    0
    Non les pages ne sont pas toutes dans le même répertoire.
    C'est où la demande de désindexation de répertorie dans search console ? je ne connaissais pas cette fonction.
     
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 753
    J'aime reçus:
    252
    il suffit d'indiquer une URL se terminant par un / et correspondant à un répertoire (ou à ce qui ressemble à un répertoire, en raison de la réécriture d'URL), puis de confirmer qu'on veut virer tout le répertoire
     
Chargement...
Similar Threads - Robots Google Forum Date
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Code source et robots Google Débuter en référencement 18 Avril 2017
Robots.txt : changement soudain d'interpretation par google Crawl et indexation Google, sitemaps 18 Février 2016
Google affiche dans ses résultats des URLS bloquées par robots.txt ! Crawl et indexation Google, sitemaps 26 Juin 2015
Robots non filtré par Google Analytics ? Google Analytics 18 Janvier 2015
Google ne lit-il pas mon fichier robots.txt ? Crawl et indexation Google, sitemaps 8 Décembre 2014
Robots de Google gênés par erreur FastCGI ? Débuter en référencement 26 Août 2014
Bug Google robots.txt sitemaps Crawl et indexation Google, sitemaps 23 Janvier 2014
Crawl, indexation, robots.txt : les mystères de Google expliqués Crawl et indexation Google, sitemaps 10 Juin 2013
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice