Robots.txt et syntaxe de Disallow

Discussion dans 'Crawl et indexation Google, sitemaps' créé par excellkenza, 2 Juin 2017.

Tags:
  1. excellkenza
    excellkenza Nouveau WRInaute
    Inscrit:
    30 Juillet 2015
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    Sur mon site j'ai beaucoup de pages de type :
    Code:
    https://www.monsite.fr/page.html?code=82&idpartenaire=60876
    Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :
    Code:
    Disallow:/page.html
    Mais Google les indexe quand même ... !

    Ma syntaxe est-elle mauvaise ?
    Devrais-je plutôt écrire un truc genre
    Code:
    Disallow:/page.html*
    Merci de votre aide
     
    #1 excellkenza, 2 Juin 2017
  2. yule
    yule WRInaute occasionnel
    Inscrit:
    24 Juillet 2004
    Messages:
    412
    J'aime reçus:
    41
    #2 yule, 2 Juin 2017
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour,

    Cette ligne est parfaitement correcte. Elle interdit aux robots de Google de visiter les pages dont l'adresse commence par /page.html. En revanche, elle n'interdit pas vraiment d'indexer ces pages.

    En pratique, peu de pages où la visite des robots est interdite apparaissent en bonne place dans les résultats de recherche (surtout si ce sont des adresses avec des paramètres après le point d'interrogation).
     
    #3 jeanluc, 2 Juin 2017
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 671
    J'aime reçus:
    749
    #4 WebRankInfo, 2 Juin 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Robots syntaxe Disallow Forum Date
Cette syntaxe de robots.txt est-elle correcte ? Administration d'un site Web 8 Avril 2013
Syntaxe robots.txt Crawl et indexation Google, sitemaps 29 Août 2008
Syntaxe de la meta name robots Référencement Google 12 Juillet 2007
Syntaxe robots.txt -- fichier finissant par Référencement Google 28 Avril 2007
Robots txt : syntaxe non comprise par Google Référencement Google 20 Avril 2007
Syntaxe robots.txt Crawl et indexation Google, sitemaps 29 Mai 2006
Fichier robots.txt ma syntaxe est-elle correcte ? Référencement Google 19 Septembre 2003
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020