Référencement aléatoire et robots.txt

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par yaflo, 11 Février 2015.

  1. yaflo

    yaflo Nouveau WRInaute

    Inscrit:
    10 Octobre 2014
    Messages:
    37
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai effectué il y a quelques jours une migration de mon site en souscrivant à un hébergement chez gandi. J'ai reconstruit l'intégralité de mon site sur wordpress grâce à une url de test allouée par gandi et j'ai ensuite récupéré mon nom de domaine.
    Un symlink a été mis en place entre mon nom de domaine et l'url de test. Tout fonctionne correctement à ce niveau.

    Mais il semble qu'il y ait des ajustements à faire au niveau du fichier robots.txt. Lorsque je lance des recherches sur google à propos de mon site, j'obtiens des résultats disparates :
    - Pour certaines pages, la recherche fait bien ressortir le nom de la page et sa description.
    - Pour d'autres pages, j'ai le message suivant : La description de ce résultat n'est pas accessible à cause du fichier robots.txt de ce site.
    - Et encore pour d'autres, lorsque je tape les mots clé spécifiques qui doivent renvoyer à un article, google renvoie sur la page d'accueil de mon site mais en mentionnant le titre de l'article en question dans la description.

    J'ai donc consulté mes webmaster tools google qui m'indiquent que mon fichier robots.txt est le suivant :

    User-agent: *
    Disallow: /wp-admin/

    et donc que les robots ne sont pas bloqués. Je ne sais pas trop quoi faire, je ne comprends pas pourquoi on obtient des
    résultats différents en fonction des pages recherchées. De plus, le fichier robots.txt ne semble pas verrouiller mon site.
    Quelqu'un peut-il me venir en aide ?
     
  2. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
    Avais-tu bloqué l'accès au nouveau site via l'admin de Wordpress avant de basculer dessus ? Parce que si Google a crawlé le site de dev a ce moment-là, il peut y avoir eu une mise en cache du robots.txt. Seule solution : attendre.
     
  3. yaflo

    yaflo Nouveau WRInaute

    Inscrit:
    10 Octobre 2014
    Messages:
    37
    J'aime reçus:
    0
    Bonjour,

    Effectivement, j'avais téléchargé un plugin pour rendre le site privé et également bloqué les moteurs de recherche à ce moment-là. Depuis, le plugin a été désactivé et les moteurs de recherche ré-autorisés.
    ça pourrait expliquer l'incidence sur l'indexation mais comment se fait-il que le message d'erreur n'apparait pas sur tous les résultats de recherche mais juste sur quelques uns ?
     
  4. loubet

    loubet WRInaute impliqué

    Inscrit:
    19 Février 2003
    Messages:
    871
    J'aime reçus:
    0
    car google n'a pas fini de se mettre à jour suite au changement du robots.txt
     
  5. yaflo

    yaflo Nouveau WRInaute

    Inscrit:
    10 Octobre 2014
    Messages:
    37
    J'aime reçus:
    0
    Merci beaucoup pour toutes ces précisions !
    Je vais continuer à surveiller régulièrement alors.