GGbot ne crawle plus en profondeur

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par jOoL, 17 Octobre 2006.

  1. jOoL
    jOoL WRInaute occasionnel
    Inscrit:
    5 Mai 2005
    Messages:
    388
    J'aime reçus:
    0
    Hello à tous,

    Je me tourne vers vous pour obtenir un peu d'aide, et surtout éclairer un peu ma lanterne.

    Il a de cela quelques mois (le 22 juillet pour être exact), GGbot ne parcours plus mon site en profondeur. Il se cantone à la page d'accueil (selon Robotstats). Le site concerné à presque 2 ans, et il était très régulièrement parcouru auparavant. Ainsi, les nouvelles pages étaient inclues rapidement.

    Pour expliquer ce nouvel état de fainéantise je peux trouver les raisons ci-dessous, mais j'aimerai votre avis, et peut-être avoir de nouvelles pistes pour redonner un coup de pouce à mon ami GG:

    - Modification du .htaccess script php pour prise en compte correcte des redirections 301 et obtention des bons headers.

    - 3 redirections 301 successives -> de la racine www vers dossier 1(langue) puis dossier 2 (module) pour obtention d'url de type: -www.domaine/lang/fichier.html lorsque la requete est : -www.domaine/

    - Modification du script php pour la gestion des erreurs et redirections 301

    - Inclusion dans ODP depuis ~6 mois (ajouté la meta NODP)

    - Blacklistage il y a ~3 mois (a cause de notre méthode de référencement de site flash -> réinclusion 4 jours après, suite à un mail explicatif et récupération de toutes les pages indexées et PR)

    - A propos du BL, est-ce que j'ai un status de "nouveau site".. et donc le deep crawl prend du temps à se remettre en place...

    -Pas de sitemap (jamais eu et ça fonctionnait bien avant)

    -pas d'adsense.. (certainement rien à voir)

    - fichier robots.txt qui coince ? pourtant les autres bots passent.

    - GGbot a-t-il cette attitude chez vous aussi ?

    - GGbot n'est-il plus détecté par robotstats ?

    Voilà...

    Pour vous donner une idée de comparatifs, voici l'url de robotstats:
    -http://www.dreamo.ch/cbo/robotstats/

    Je suis un peu perdu du coup, et surtout je me demande si j'ai pas fait une bourde quelque part.

    Merci à tous de votre aide

    jOoL
     
  2. Monty973
    Monty973 WRInaute passionné
    Inscrit:
    21 Mars 2006
    Messages:
    1 160
    J'aime reçus:
    1
    Il n'ya a priori rien qui coince Googlebot dans ton robots.txt (même s'il est un peu compliqué) mais je crois qu'il y a au moins 2 erreurs :

    A la fin, la liste de répertoires interdit, manque un espace pour le premier répertoire

    Au dessus dans la liste des user-agent, un espace en trop sur le dernier.

    Pour Googlebot, je vois pas

    PS : sur ton acceuil, je pense que tu peux virer la META NOODP spécifique à googlebot vu que tu l'as déjà mise pour tous les robots.
     
  3. jOoL
    jOoL WRInaute occasionnel
    Inscrit:
    5 Mai 2005
    Messages:
    388
    J'aime reçus:
    0
    Je me demendais si GG prend en compte la balise générale... c'est pour ça que j'ai mis les 2... Quelqu'un peut confirmer ?

    Sinon merci pour le fichier robots.txt
     
  4. Monty973
    Monty973 WRInaute passionné
    Inscrit:
    21 Mars 2006
    Messages:
    1 160
    J'aime reçus:
    1
  5. jOoL
    jOoL WRInaute occasionnel
    Inscrit:
    5 Mai 2005
    Messages:
    388
    J'aime reçus:
    0
    merci ;-)
     
  6. tribalium
    tribalium WRInaute discret
    Inscrit:
    6 Octobre 2005
    Messages:
    150
    J'aime reçus:
    0
    salut
    pareil pour moi sur un site d'un client qui date de juillet aussi! pas de crawl en profondeur avec pourtant un site map complet +rewritng + meta et un robot txt qui na rien de golgote 13 affaire a suivre...
     
  7. jOoL
    jOoL WRInaute occasionnel
    Inscrit:
    5 Mai 2005
    Messages:
    388
    J'aime reçus:
    0
    Mon site ne "date" pas de Juillet, il est plus ancien. Par-contre c'est depuis juillet que GG ne le crawle plus en profondeur.

    Qq'un aurait d'autres pistes ou explications à me donner svp ?

    Merci

    jOoL
     
  8. tribalium
    tribalium WRInaute discret
    Inscrit:
    6 Octobre 2005
    Messages:
    150
    J'aime reçus:
    0
    salut dans le service de sitemap Google je viens de me rendre compte qu'il y a une option "Vitesse d’exploration"

    Définir la vitesse d'exploration




    Plus rapide Une exploration plus rapide nous permet d'explorer votre site rapidement, mais augmente la charge de votre serveur.

    Normal Vitesse d'exploration recommandée

    Moins rapide Une vitesse d'exploration plus lente aura pour effet de réduire le trafic généré par le robot Googlebot sur votre serveur. En revanche, ce robot explorera votre site moins souvent.

    je viens de le mettre depuis hier soir sur plus rapide on vas voir si sa bouge...
     
  9. jOoL
    jOoL WRInaute occasionnel
    Inscrit:
    5 Mai 2005
    Messages:
    388
    J'aime reçus:
    0
    franchement, j'ai supprimé le sitemap il y a de cela bien longtemps, et je n'ai aucune envie d'en remettre un... je me trompe peut-être, mais je n'ais jamais eu l'impression que ça aidait le bot, ni l'indexation, dans la mesure ou le site à une architecture correcte...
     
  10. polweb
    polweb WRInaute accro
    Inscrit:
    18 Octobre 2006
    Messages:
    3 231
    J'aime reçus:
    0
    Je trouve tes balises alt mal optimisés, et semblables sur toute les pages.
     
  11. jOoL
    jOoL WRInaute occasionnel
    Inscrit:
    5 Mai 2005
    Messages:
    388
    J'aime reçus:
    0
    Tu as raison, c-est un des trucs "trop nombreux d-ailleurs" qui sont dans ma ToDo list. Mais je te remercie de ta remarque, les alts ne sont pas dynamiques et je m-en suis rendu compte tard dans le dev. Ceci ajoute a un petit coup de flemme et voila... pas rectifie.. mais je le ferai ... :)

    jOoL

    PS. pardon pour les accents manquants mais suis dans un I-cafe avec le clavier mal parametre... :twisted:
     
Chargement...
Similar Threads - GGbot crawle profondeur Forum Date
Nouveau site : combien de temps pour le passage de ggbot? Débuter en référencement 14 Novembre 2005
GGbot crawl le .htaccess ? URL Rewriting et .htaccess 3 Août 2005
PhpBB rewrité mais le GGBot reste sur l'index. Quid ? URL Rewriting et .htaccess 24 Avril 2005
Visites de GGbot Crawl et indexation Google, sitemaps 17 Janvier 2005
Combien de GGbot Crawl et indexation Google, sitemaps 13 Décembre 2004
Passage GGbot et date de cache! Débuter en référencement 20 Octobre 2004
GGbot n'indexe que ma première page. Crawl et indexation Google, sitemaps 8 Mai 2004
Comment se comporte GGbot chez vous? Crawl et indexation Google, sitemaps 10 Décembre 2003
GGbot & (RE) passage sur les pages d'un site. Débuter en référencement 26 Novembre 2003
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps 9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019