Disallow robots.txt et pages sattellites

Discussion dans 'Crawl et indexation Google, sitemaps' créé par dumbel, 19 Juillet 2012.

  1. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    185
    J'aime reçus:
    0
    Bonjour,

    est il possible que des urls bloquées par robots.txt mais qui sont quand même indexées puissent être à terme considérées comme des pages satellites?

    Merci d'avance
     
  2. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 879
    J'aime reçus:
    6
    Re: Disallow robots.txt et pages attellites

    Le robots.txt n'est, techniquement, pas fiable. Il n'interdit rien, il informe. C'est l'équivalent d'un panneau routier d'interdiction. Tu le vois, tu l'interprète, mais personne ne t'empèche de faire ce que tu veux.

    Une page qui ne doit pas être indexées doit être soit protégé par accès login/pass, soit être interdite aux bots.

    Pas de bol pour les noindex, follow, mais c'est la dur loi de l'incompétence des moteurs de recherche qui fouillent partout sans parfois rien respecter.


    Rod
     
  3. dumbel
    dumbel WRInaute discret
    Inscrit:
    30 Mai 2005
    Messages:
    185
    J'aime reçus:
    0
    Re: Disallow robots.txt et pages attellites

    Merci Koxin, Le pb du noindex nofollow c'est que Google va me désindexer les pages , or je voudrais juste les mettre en stand by sans qu'elles soient considérées comme des pages satellites...
     
  4. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 879
    J'aime reçus:
    6
    Le mieux étant de mettre ces pages spécifiques en 503 pour les moteurs, non ?

    Rod
     
Chargement...
Similar Threads - Disallow robots sattellites Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Robots.txt Disallow:repertoire mais pas une URL Crawl et indexation Google, sitemaps 30 Octobre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Disallow robots.txt Débuter en référencement 4 Février 2010
Robots.txt tout disallow sauf page accueil ? Problèmes de référencement spécifiques à vos sites 1 Février 2009
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Robots.txt - Disallow pour des pages avec paramètre Google : l'entreprise, les sites web, les services 20 Octobre 2006
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006
Robots.txt pour phpbb : Disallow de certaines urls Problèmes de référencement spécifiques à vos sites 30 Août 2004
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021