Forte chute pages explorées googlebot

Discussion dans 'Débuter en référencement' créé par david_WRI, 6 Juin 2013.

  1. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Bonjour,

    tout est dans le titre, je ne sais pas à quoi c'est dû, et je ne sais pas quoi faire :(

    [​IMG]
     
  2. StefouFR
    StefouFR Guest
    Bonjour,

    quel est le site please ?
     
  3. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
  4. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 929
    J'aime reçus:
    0
    c'est pas à cause d'une durée de chargement de chaque page plus élevée ?
     
  5. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Vous le trouvez lent de votre côté ?
     
  6. StefouFR
    StefouFR Guest
    Bonjour,

    Chez moi le site est rapide.

    Par contre un conseil, supprime ton fichier robots.txt car dans l'état il ne sert à rien, voir il peut être négatif.

    Ensuite sur le site tu as énormément de noindex, cela peut venir de la.

    Tu n'as aucun sitemap.xml apriori. Pour ce genre de site c'est dommage.
     
  7. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Bonjour,

    merci pour ces remarques, je vais donc supprimer le fichier robot.txt

    J'ai trouvé une piste en y pensant cette nuit, je soupçonne justement le serveur de pomper trop de ressource quand il génère le sitemap.xml (cela se passe la nuit)
    En effet il n'y a plus de fichier depuis 1 semaine car j'ai migré sur un autre serveur il faut que je réactive la chose

    Juste pour information vous utilisez quel système pour la génération du sitemap ?

    merci

    David
     
  8. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 158
    J'aime reçus:
    173
    Je ne supprimerais pas robots.txt mais je mettrais un fichier vide à la place
    Et j'ajouterai également un fichier favicon.ico à la racine pour éviter les erreurs 404

    Pour la chute des visites de googlebot ça peut venir qu'il a remarqué que les mises à jour n'étaient plus régulières ou alors ça peut venir de l'ancienneté du site. S'il a plus de 5 ans j'ai l'impression que google passe moins souvent sur ce genre de sites car il doit considérer que les pages ne sont plus trop d'actualité.

    Est-ce que tu as constaté une chute des visites ou une perte de pages indexées dans l'index de google ?
     
  9. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 158
    J'aime reçus:
    173
    notepad à la mimine

    Et si je devais les générer en automatique je le ferais lors des mises à jour de la base en allant balayer la base lors d'une insertion ou d'une suppression et pas en balayant le site page par page
     
  10. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    en général, tu sais comment sont générées les pages par rapport à la bdd, donc créer un sitemap par rapport à ces règles n'est pas dur à faire
     
  11. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Merci pour vos informations à tous

    J'ai ajouté un favicon, vidé le robot.Txt

    Pour le crawler, j'utilise un logiciel de mon côté, xml-sitemap de tête

    J'espère que ça va reprendre rapidement l'indexation :)
     
  12. StefouFR
    StefouFR Guest
    Je ne comprends pas ce robots.txt vide expliqué plus haut par indigene, cela équivaut au meta robots index,follow qu'on voit parfois. Complètement inutile.

    Un conseil supprime tout simplement le robots.txt s'il est vide ou si tu autorises tout ! Le seul cas où tu pourrais le laisser alors que tu autorises tout cela sera pour indiquer ton sitemap.xml, même si dans GWT on peut l'indiquer. C'est vraiment le seul cas "utile".

    Pour le favicon ce n'est pas bête, mais le problème ne vient pas de là.

    Le sitemap.xml je le génère aussi en manuel avec notepad comme indigene.
     
  13. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Hmmm je supprime ou pas alors ce fichier robot.txt ? :lol:

    Pour le sitemap j'ai énormément de page, à la mano ça être un peu long :oops:
     
  14. noren
    noren WRInaute accro
    Inscrit:
    8 Avril 2011
    Messages:
    2 906
    J'aime reçus:
    14
    Il me semble avoir déjà lu à plusieurs reprises qu'il vaut mieux un fichier robots.txt vide que pas de fichier robots.
    Comme quoi :wink:
     
  15. StefouFR
    StefouFR Guest
  16. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Pour éviter la 404 que ces gros neuneux de bots font générer 20 fois par jour pour voir si tu as pas changé d'avis ... En tous cas c'est pour ça que les miens sont vides mais présents.

    Et pour éclairer tes toilettes tu construit une centrale nucléaire dans le jardin ? Je me demande parfois si les gens ont une vague notion de leur éco responsabilité dans la vie ... Non seulement ton sitemap c'est pour le flan d'un point de vue SEO, mis a part prévenir plus vite de l’apparition d'une page tous les 10 jours mais si c'est juste pour ça tu peux largement ajouter une url a la mano a chaque fois que tu publie des fois que tu ne sache pas faire une requête sur une base de données ...

    ça me fait penser a GG qui te présentent 10 pages de résultat intermédiaire le temps que tu tape ta requêtes tout ça ... Comment va tu faire quand très bientôt tu n'aura plus les moyens de te payer tout ce gaspillage de ressources ?
     
  17. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Au vu de ta réponse et le ton utilisé, tu sembles supérieur à tout le monde.

    Je maîtrise parfaitement SQL, j'ai utilisé xml-sitemap pour un gain de temps et éviter à avoir développer une solution car j'ai énormément de boulot, j'ai une quarantaine de pages nouvelles chaque jour, je me vois mal ajouter tous les jours une url à la mano.
    Si c'est juste une question de latence entre le moment où ma page est publiée et son indexation, en effet, je me fou du sitemap, surtout que je fais en sorte que les nouvelles pages soient au maximum sur un niveau 2
     
  18. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    un gain de temps ? faire crawler l'intégralité d'un site pour trouver les nouvelles pages et supprimer du sitemap celles n'existant plus, tu appelles cela un gain de temps ? :roll:
     
  19. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Entre utilisé un script tout prêt et le développer, oui c'est un gain de temps :)
     
  20. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 028
    J'aime reçus:
    291
    +1 Leonick. Ca dépend l'outil utilisé, dans mon framework ça met moins de temps à coder que de crawler tout le site.
     
  21. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Il n'y pas que le temps de développement, il faut comprendre comment sont structuré les fichiers sitemaps, j'estime à 1 jour de développement que je n'ai malheureusement pas pour le moment
     
  22. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 028
    J'aime reçus:
    291
    1 jour de dev 8O
    Tu codes en ASM ?
     
  23. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Oui.
     
  24. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 028
    J'aime reçus:
    291
    X-Powered-By: PHP/5.4.4-14 :)
     
  25. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    [​IMG]
     
  26. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 028
    J'aime reçus:
    291
  27. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
  28. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    c'est sur qu'en lisant les consignes de gg
    ça laisse augurer une extrême complexité de création :mrgreen:
     
  29. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Vous devriez passer plus de temps à aider les autres internautes du forum qu'à essayer de comprendre pourquoi j'ai estimé à 1 jour le développement d'un script de génération d'un sitemap XML

    Merci à ceux qui m'ont aidé en tout cas !
     
  30. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    C'est exactement ça plus un retour d'info dans GWT qui n'a d’intéressant que son côté hightech dans des conversations de salon (bref du vent).

    Mauvais calcul tu met le serveur a genoux et vue le nombre de pages qui étaient crawlées jusque mi avril on peut supposer un site volumineux (30k crawlé par jour pour 500k pages sur le site chez moi) donc ton système met une grosse patate au serveur a chaque passage. Si de plus pour par faire chier le monde tu fais tourner ça de nuit (juste quand les bots décides de passer pendant la période calme de ton serveur) tu as toute les chances de générer pas mal de pages lentes voir inaccessibles. Dans ce cas les bots lâchent l'affaire rapidement.

    Mais le vrai souci c'est que ça semble brutal et quasi complet ça laisse donc à penser qu'il pourrait y avoir un problème plus vicieux mais là je voie pas.
     
  31. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 158
    J'aime reçus:
    173
    Mettre un fichier robots.txt vide à la racine du site n'a rien à voir avec Google. Pour Google c'est en effet complètement inutile.
    C'est seulement par rapport au serveur Apache.
    Car tous les crawlers vont commencer à accéder au fichier robots.txt pour voir s'il en existe un et s'il n'est pas là ça génère une erreur 404 au niveau du serveur et c'est pas propre.
    Pour le favicon.ico s'est exactement pour les mêmes raisons : éviter une erreur 404 au niveau du serveur.
     
  32. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    +1 indigene c'est effectivement ce que je tentais d'expliquer ... mieux vaux un fichier vide qu'une 404
     
  33. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 158
    J'aime reçus:
    173
    oui, excusez-moi, je répondais à un post de la première page et je n'avais pas vu qu'il y avais déjà toute une page 2 qui parlait de ça.

    Pour ce qui est de la chute subite des visites des bots ça ne serait pas du à l'age du site ?

    Quand un site est assez ancien google pense qu'il doit contenir de nombreuses pages qui ne sont plus trop d'actualité, surtout s'il a repéré que ces pages ne bougent jamais en terme de contenu, il décide alors de les visiter moins souvent pour s'intéresser plus particulièrement aux pages récentes. Mais la chute des passages du bot ne doit pas jouer sur le nombre de visiteurs sauf si c'était justement des vieilles pages qui apportaient beaucoup de visiteurs.

    Sans un tel système ça serait toujours les mêmes sites qui seraient toujours en tête des serps mais il faut un peu de renouvellement dans les résultats.
     
  34. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    Merci encore pour vos précisions

    Le site doit avoir a un peu plus de 3 ans (le domaine le double), et oui certaines pages ne bougent pas beaucoup

    Au niveau trafic ça n'a visiblement pas impacté
     
  35. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    moi c'est ça qui m'intéresse : à quoi ça sert que gg pompe des ressources au serveur en crawlant des pages tous les jours, alors qu'elles n'ont eu aucune modification sur les 6 derniers mois (voire plus) ?
     
  36. david_WRI
    david_WRI WRInaute discret
    Inscrit:
    3 Septembre 2008
    Messages:
    117
    J'aime reçus:
    0
    C'est peut être aussi une erreur de ma part, mon sitemap n'était pas optimisé : je ne me suis pas occupé des attributs de fréquence des pages, est-ce que du coup Google en tenait compte et a fini par "comprendre" que finalement c'était pas très pertinent ce que j'avais mis ?
     
  37. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    la pondération que l'on indique dans le sitemap, j'ai de forts doutes que gg l'utilise, car je pense que la majorité des webmasters doit la mettre au maximum
    de plus, si une url apparait dans le sitemap mais n'est liée nulle part ailleurs, gg passera la voir, éventuellement elle sera dans l'index (avec beaucoup de chances) mais pour qu'elle apparaisse dans les serp, là, ça serait une autre difficulté.
    perso, le sitemap ne me sert que pour connaitre le ratio des pages crawlées dans GWT, pas pour les faire crawler
     
  38. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Le truc choquant (visible sur la capture d'écran) c'est quand même la chute très brutale du nombre de pages visités ... c'est énorme.
     
Chargement...
Similar Threads - chute explorées googlebot Forum Date
Pages explorées par GoogleBot : Forte chute Problèmes de référencement spécifiques à vos sites 1 Mai 2013
pages explorées par jour par google : mega chute Crawl et indexation Google, sitemaps 26 Juin 2017
Chute des pages explorées, symptôme d'une maladie plus grave ? Crawl et indexation Google, sitemaps 13 Septembre 2012
GWT : chute des "Kilo-octets téléchargés" et montée des Pages explorées Crawl et indexation Google, sitemaps 28 Janvier 2011
Attaque negative SEO provoque chute de 50% des impressions ? Référencement Google 31 Juillet 2020
Achat de Baclinks et chute de positionnement Netlinking, backlinks, liens et redirections 16 Juillet 2020
Chute brutale du taux de rebond dans Google Analytics Google Analytics 15 Juillet 2020
Chute libre des abonnés Youtube et des vues YouTube, Google Images et Google Maps 11 Juillet 2020
Chute incessante de position Problèmes de référencement spécifiques à vos sites 28 Mai 2020
Ajout balise canonical et chute de positions Référencement Google 6 Mai 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice