Forte chute pages explorées googlebot

Bonjour,

quel est le site please ?

 

c'est pas à cause d'une durée de chargement de chaque page plus élevée ?

 

Bonjour,

Chez moi le site est rapide.

Par contre un conseil, supprime ton fichier robots.txt car dans l'état il ne sert à rien, voir il peut être négatif.

Ensuite sur le site tu as énormément de noindex, cela peut venir de la.

Tu n'as aucun sitemap.xml apriori. Pour ce genre de site c'est dommage.

 

Je ne supprimerais pas robots.txt mais je mettrais un fichier vide à la place
Et j'ajouterai également un fichier favicon.ico à la racine pour éviter les erreurs 404

Pour la chute des visites de googlebot ça peut venir qu'il a remarqué que les mises à jour n'étaient plus régulières ou alors ça peut venir de l'ancienneté du site. S'il a plus de 5 ans j'ai l'impression que google passe moins souvent sur ce genre de sites car il doit considérer que les pages ne sont plus trop d'actualité.

Est-ce que tu as constaté une chute des visites ou une perte de pages indexées dans l'index de google ?

 

notepad à la mimine

Et si je devais les générer en automatique je le ferais lors des mises à jour de la base en allant balayer la base lors d'une insertion ou d'une suppression et pas en balayant le site page par page

 

en général, tu sais comment sont générées les pages par rapport à la bdd, donc créer un sitemap par rapport à ces règles n'est pas dur à faire

 

Je ne comprends pas ce robots.txt vide expliqué plus haut par indigene, cela équivaut au meta robots index,follow qu'on voit parfois. Complètement inutile.

Un conseil supprime tout simplement le robots.txt s'il est vide ou si tu autorises tout ! Le seul cas où tu pourrais le laisser alors que tu autorises tout cela sera pour indiquer ton sitemap.xml, même si dans GWT on peut l'indiquer. C'est vraiment le seul cas "utile".

Pour le favicon ce n'est pas bête, mais le problème ne vient pas de là.

Le sitemap.xml je le génère aussi en manuel avec notepad comme indigene.

 

Il me semble avoir déjà lu à plusieurs reprises qu'il vaut mieux un fichier robots.txt vide que pas de fichier robots.
Comme quoi :wink:

 

Je veux les sources alors !

Surement les mêmes qui conseils la meta robots index,follow pour avoir full robots qui vient pour indexer et suivre non ?!

Pourquoi pas la meta revisit-after .


Bon soyons sérieux : http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=156449

 

Pour éviter la 404 que ces gros neuneux de bots font générer 20 fois par jour pour voir si tu as pas changé d'avis ... En tous cas c'est pour ça que les miens sont vides mais présents.

Et pour éclairer tes toilettes tu construit une centrale nucléaire dans le jardin ? Je me demande parfois si les gens ont une vague notion de leur éco responsabilité dans la vie ... Non seulement ton sitemap c'est pour le flan d'un point de vue SEO, mis a part prévenir plus vite de l’apparition d'une page tous les 10 jours mais si c'est juste pour ça tu peux largement ajouter une url a la mano a chaque fois que tu publie des fois que tu ne sache pas faire une requête sur une base de données ...

ça me fait penser a GG qui te présentent 10 pages de résultat intermédiaire le temps que tu tape ta requêtes tout ça ... Comment va tu faire quand très bientôt tu n'aura plus les moyens de te payer tout ce gaspillage de ressources ?

 

un gain de temps ? faire crawler l'intégralité d'un site pour trouver les nouvelles pages et supprimer du sitemap celles n'existant plus, tu appelles cela un gain de temps ? :roll:

 

+1 Leonick. Ca dépend l'outil utilisé, dans mon framework ça met moins de temps à coder que de crawler tout le site.

 

1 jour de dev 8O
Tu codes en ASM ?

 

X-Powered-By: PHP/5.4.4-14

 

c'est sur qu'en lisant les consignes de gg

ça laisse augurer une extrême complexité de création :mrgreen:

 

C'est exactement ça plus un retour d'info dans GWT qui n'a d’intéressant que son côté hightech dans des conversations de salon (bref du vent).

Mauvais calcul tu met le serveur a genoux et vue le nombre de pages qui étaient crawlées jusque mi avril on peut supposer un site volumineux (30k crawlé par jour pour 500k pages sur le site chez moi) donc ton système met une grosse patate au serveur a chaque passage. Si de plus pour par faire chier le monde tu fais tourner ça de nuit (juste quand les bots décides de passer pendant la période calme de ton serveur) tu as toute les chances de générer pas mal de pages lentes voir inaccessibles. Dans ce cas les bots lâchent l'affaire rapidement.

Mais le vrai souci c'est que ça semble brutal et quasi complet ça laisse donc à penser qu'il pourrait y avoir un problème plus vicieux mais là je voie pas.

 

Mettre un fichier robots.txt vide à la racine du site n'a rien à voir avec Google. Pour Google c'est en effet complètement inutile.
C'est seulement par rapport au serveur Apache.
Car tous les crawlers vont commencer à accéder au fichier robots.txt pour voir s'il en existe un et s'il n'est pas là ça génère une erreur 404 au niveau du serveur et c'est pas propre.
Pour le favicon.ico s'est exactement pour les mêmes raisons : éviter une erreur 404 au niveau du serveur.

 

+1 indigene c'est effectivement ce que je tentais d'expliquer ... mieux vaux un fichier vide qu'une 404

 

oui, excusez-moi, je répondais à un post de la première page et je n'avais pas vu qu'il y avais déjà toute une page 2 qui parlait de ça.

Pour ce qui est de la chute subite des visites des bots ça ne serait pas du à l'age du site ?

Quand un site est assez ancien google pense qu'il doit contenir de nombreuses pages qui ne sont plus trop d'actualité, surtout s'il a repéré que ces pages ne bougent jamais en terme de contenu, il décide alors de les visiter moins souvent pour s'intéresser plus particulièrement aux pages récentes. Mais la chute des passages du bot ne doit pas jouer sur le nombre de visiteurs sauf si c'était justement des vieilles pages qui apportaient beaucoup de visiteurs.

Sans un tel système ça serait toujours les mêmes sites qui seraient toujours en tête des serps mais il faut un peu de renouvellement dans les résultats.

 

moi c'est ça qui m'intéresse : à quoi ça sert que gg pompe des ressources au serveur en crawlant des pages tous les jours, alors qu'elles n'ont eu aucune modification sur les 6 derniers mois (voire plus) ?

 

la pondération que l'on indique dans le sitemap, j'ai de forts doutes que gg l'utilise, car je pense que la majorité des webmasters doit la mettre au maximum
de plus, si une url apparait dans le sitemap mais n'est liée nulle part ailleurs, gg passera la voir, éventuellement elle sera dans l'index (avec beaucoup de chances) mais pour qu'elle apparaisse dans les serp, là, ça serait une autre difficulté.
perso, le sitemap ne me sert que pour connaitre le ratio des pages crawlées dans GWT, pas pour les faire crawler

 

Le truc choquant (visible sur la capture d'écran) c'est quand même la chute très brutale du nombre de pages visités ... c'est énorme.