indexé malgré robots.txt

Discussion dans 'Débuter en référencement' créé par saluts92, 3 Novembre 2018.

  1. saluts92
    saluts92 WRInaute passionné
    Inscrit:
    12 Avril 2006
    Messages:
    1 015
    J'aime reçus:
    44
    Bonjour,
    Dans mon fichier j'ai un Disallow qui concerne un groupe de nombreuses pages (générées par mes utilisateurs) qui n'ont pas a être indexées
    Les liens vers cas pages étaient un rel="nofollow"
    De plus ces pages font une redirection 301 vers un site extérieur

    Suite à un audit RM Tech qui me conseille de ne pas avoir de nofollow sur des liens internes, il y a 2 semaines j'ai enlevé les nofollow pensant que le Disallow dans le robots.txt suffisait
    en effet j'ai quelques pages exemples (indexables) qui utilisent ce genre de lien

    Et ce matin je commence à voir ces pages dans GSC > couverture > Indexée malgré le blocage par le fichier robots.txt

    ces liens ont été créés après avoir mis le Disallow (qui n'a jamais été retiré du robots.txt)

    Est ce normal ?

    PS : j'ai donc remis mes Nofollow
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 034
    J'aime reçus:
    350
    Sans doute une erreur dans le robots.txt

    Et le nofollow ça ne garantit de rien, seul le noindex sur les pages concernées est fiable.
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 757
    J'aime reçus:
    800
    Je considère pour ma part que c'est Google qui fait n'importe quoi dans ce cas. D'ailleurs, si on pousse les tests, on finit par voir que les URL ne sont pas indexées.
    J'ai la même chose avec la partie "membres" de ce forum.
     
  4. saluts92
    saluts92 WRInaute passionné
    Inscrit:
    12 Avril 2006
    Messages:
    1 015
    J'aime reçus:
    44
    justement je viens de démontrer le contraire, c'est ce qui m'inquiète
     
  5. saluts92
    saluts92 WRInaute passionné
    Inscrit:
    12 Avril 2006
    Messages:
    1 015
    J'aime reçus:
    44
    pourtant, lorsque je fais "inspection de l'url" j'ai le message : "Cette URL est sur Google, mais présente des problèmes (Indexée malgré le blocage par le fichier robots.txt)"
    par contre lorsque je fais un info:....url....
    j'ai "Aucune information n'est disponible pour cette page."

    c'est fatiguant de jouer au chat et à la souris avec Google
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 757
    J'aime reçus:
    800
    d'où ma réponse. Google devrait arrêter d'essayer de faire sortir dans les SERP des pages bloquées dans les règles de l'art. Pour ma part, je m'occupe de choses plus utiles, je sais que ces pages ne sont pas dans l'index (ni crawlées).
     
  7. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 034
    J'aime reçus:
    350
    Voilà autrement dit, les pages ne sont pas indexées, les gens ne peuvent pas tomber dessus ! Mais si vous tapez l'URL (que vous seule connaissez donc), Google va vous répondre en quelque sorte qu'il connait bien l'URL, mais qu'il ne la présente pas dans les résultats des recherches naturelles. Donc aucun problème.
    Et personnellement avec un noindex (sans robots.txt), jamais eu aucun problème.
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 757
    J'aime reçus:
    800
    quand il y a un gros volume de pages à bloquer, c'est tout de même mieux de les bloquer au crawl, ça améliore la gestion du crawl budget
     
  9. saluts92
    saluts92 WRInaute passionné
    Inscrit:
    12 Avril 2006
    Messages:
    1 015
    J'aime reçus:
    44
    c'est ce que je fais
     
Chargement...
Similar Threads - indexé malgré robots Forum Date
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
URLs indexées malgré redirection Problèmes de référencement spécifiques à vos sites 5 Août 2022
Message console "Indexée malgré blocage robot.txt" Crawl et indexation Google, sitemaps 4 Août 2019
Anciennes URLs toujours indexées malgré 301 Netlinking, backlinks, liens et redirections 24 Février 2019
Page indexée malgré canonical Crawl et indexation Google, sitemaps 20 Février 2019
pages indexées malgré la balise no-index Crawl et indexation Google, sitemaps 6 Novembre 2018
Liens indexés par Google malgré une redirection 301 Crawl et indexation Google, sitemaps 9 Janvier 2017
Google se met à indexer mes sites "alias" malgré des redirections 301 ! Au secours Crawl et indexation Google, sitemaps 20 Mai 2014
Page indexée malgré redirection 301 Crawl et indexation Google, sitemaps 21 Mars 2014
Page indéxé malgré un Disallow Référencement Google 4 Novembre 2011
Page recherche.php indexée. malgré le noindex ? Problèmes de référencement spécifiques à vos sites 30 Octobre 2011
pas indexe malgre les redirections new.fr Débuter en référencement 11 Décembre 2008
site indexé en .net et .fr malgré une redirection Débuter en référencement 18 Juin 2008
Pages del.icio.us indéxés ? malgres le noindex Crawl et indexation Google, sitemaps 15 Novembre 2006
Cette URL n'a pas été indexée par Google Problèmes de référencement spécifiques à vos sites 5 Août 2022
Page indexée mais pas indexée ^^ Crawl et indexation Google, sitemaps 28 Juillet 2022
Désindexé de Bing du jour au lendemain Problèmes de référencement spécifiques à vos sites 16 Juillet 2022