Robots.txt et syntaxe de Disallow

Discussion dans 'Crawl et indexation Google, sitemaps' créé par excellkenza, 2 Juin 2017.

  1. excellkenza
    excellkenza Nouveau WRInaute
    Inscrit:
    30 Juillet 2015
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    Sur mon site j'ai beaucoup de pages de type :
    Code:
    https://www.monsite.fr/page.html?code=82&idpartenaire=60876
    Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :
    Code:
    Disallow:/page.html
    Mais Google les indexe quand même ... !

    Ma syntaxe est-elle mauvaise ?
    Devrais-je plutôt écrire un truc genre
    Code:
    Disallow:/page.html*
    Merci de votre aide
     
  2. yule
    yule WRInaute occasionnel
    Inscrit:
    24 Juillet 2004
    Messages:
    320
    J'aime reçus:
    9
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
    Bonjour,

    Cette ligne est parfaitement correcte. Elle interdit aux robots de Google de visiter les pages dont l'adresse commence par /page.html. En revanche, elle n'interdit pas vraiment d'indexer ces pages.

    En pratique, peu de pages où la visite des robots est interdite apparaissent en bonne place dans les résultats de recherche (surtout si ce sont des adresses avec des paramètres après le point d'interrogation).
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 138
    J'aime reçus:
    350
Chargement...
Similar Threads - Robots syntaxe Disallow Forum Date
Cette syntaxe de robots.txt est-elle correcte ? Administration d'un site Web 8 Avril 2013
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
robots.txt pour site multilangue Crawl et indexation Google, sitemaps 1 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice