Disallow: * ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par vinset, 9 Juin 2010.

  1. vinset
    vinset WRInaute discret
    Inscrit:
    20 Avril 2006
    Messages:
    178
    J'aime reçus:
    0
    Bonjour, je viens de rencontrer un robots.txt qui utilise cette syntaxe, quel est l'effet de l'astérixe avec le Disallow ?
    User-agent: *
    Disallow: *
     
  2. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 226
    J'aime reçus:
    0
    Ce n'est pas la bonne syntaxe à mon avis. On ne peut pas être sur de l'interprétation des moteurs.
    C'est soit:

    User-agent: *
    Disallow: /

    soit:

    User-agent: *
    Disallow:
     
  3. vinset
    vinset WRInaute discret
    Inscrit:
    20 Avril 2006
    Messages:
    178
    J'aime reçus:
    0
    C'est bien ce que je me disais, mon "google mini" n'indexe rien, mais ça ne semble pas gêner google.com ???
     
  4. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 579
    J'aime reçus:
    0
    Google reconnaît quelques extensions comme *, mais c'est non-standard, donc dangereux (tu peux à la limite les mettre dans des sections avec des User-Agents connus comme l'interprétant).

    Jacques.
     
Chargement...
Similar Threads - Disallow Forum Date
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Sitemaps images et disallow repertoire Crawl et indexation Google, sitemaps 20 Mars 2017
Page "nos partenaires" en disallow Débuter en référencement 14 Décembre 2015
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Disallow et noindex pour des pages filtres Débuter en référencement 11 Juin 2015
Aide pour un disallow de serie d'url Débuter en référencement 30 Avril 2015