Problèmes de robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par BDGest, 10 Mars 2003.

  1. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Depuis que j'ai mis en place l'urtl rewriting dans mon forum phpBB, j'ai égelemtn mis un robots.txt qui empeche les moteurs d'aller scanner les anciennes adresses. Or, visiblement Google, que je pensais respectueux, n'est pas trés obéissant. Voilà ce que je récupère dans Googlestats (en rouge les pages interdites "normalement") :
    En plus visiblement, il se goure de chemin pour ces pages vu qu'il "oublie" le /forum/ devant.

    Et voilà quelques lignes de mon robots.txt (j'ai ajouté les lignes en vert en voyant google "oublier" le /forum/ devant l'adresse, mais il continue a passer dessus..

    Quelqu'un a une idée du problème ?
     
  2. AlainM
    AlainM Nouveau WRInaute
    Inscrit:
    6 Mars 2003
    Messages:
    41
    J'aime reçus:
    0
    je ne peut pas l'expliquer mais en tous cas j'ai le meme pb, apparement c'est uniquement les robot en 64.x car ce matin les 216.x ne vons pas sur les pages "interdite" en tous cas pour l'instant :wink:
     
  3. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Pareil pour moi (encore que le full crawl a pas vraiment comméncé chez moi, juste 4 pages demandées ce matin). Je verrais donc.

    Peut être que comme ces pages sont dans l'index, le freshbot les demande de toute façon sans regarder le robots.txt. Pas trés correct google :wink:
     
  4. AlainM
    AlainM Nouveau WRInaute
    Inscrit:
    6 Mars 2003
    Messages:
    41
    J'aime reçus:
    0
    je confirme, en recherchant une IP du fresh crawl dans les log d'apache je ne voit à aucun moment qu'il a fait appel au fichier robot.txt
     
  5. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Attention, c'est robots.txt
     
  6. AlainM
    AlainM Nouveau WRInaute
    Inscrit:
    6 Mars 2003
    Messages:
    41
    J'aime reçus:
    0
    oup's, exacte :
    :oops:
     
Chargement...
Similar Threads - Problèmes robots Forum Date
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Search Console Premier référencement et problèmes Débuter en référencement 11 Novembre 2019
Test d'optimisation mobile : Problèmes de chargement de la page Débuter en référencement 10 Novembre 2019
Problèmes 'Produits' dans Search Console Référencement Google 24 Février 2019
Analyse google search console : liste des problèmes d'indexation Crawl et indexation Google, sitemaps 13 Janvier 2019
Aide réciproque appréciée, dubitatif sur certains problèmes SEO Problèmes de référencement spécifiques à vos sites 6 Juin 2018
Problèmes avec blog s-k-y-r-o-c-k et google ? Référencement Google 3 Décembre 2017
Problèmes de transparence (gif, png) Développement d'un site Web ou d'une appli mobile 26 Janvier 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice