Désindexation des pages sans visite

dobey · 1 Juin 2006

Bonjour,

Voila ce que j'ai constaté sur plusieur de mes sites en terme d'indexation.

Le schéma est le suivant.
- Indexation progressive de toutes les pages du site (jusqu'à 300 000 pour un site). Augmentation du trafic au fur et à mesure de l'indexation.
- Environ 6 mois après le lancement du site, désindexation progressive des pages. Perte de trafic venant de Google assez modérée. Exemple : un site passant de 45000 pages indexées à 600, perte de 20% de trafic seulement.

Ceci me fait penser que Google indexe toutes les pages pour les tester, et qu'au bout d'une période donnée, il désindexe les pages qui ne lui semblent pas pertinentes selon un des critères suivants (ou une combinaison):
- La page ne ressort jamais dans les pages résultats
- La page n'est jamais cliquée dans les pages résultats
- La page n'est jamais visitée tout simplement (info obtenue avec Googlebar par exemple).

Ce qui expliquerait que lors de la désindexation de 99% des pages (cas évoqué ci-dessus) on ne perde que 20% de trafic. Google ne garde que celles qui génèrent du trafic, donc supposées pertinentes.

Quand Google re-intègre t il des pages desindexées? En suivant la fréquentation de celles-ci avec la barre ou adsens, ou création de BL vers ces pages, ou toute autre info lui faisant penser que cette page a changé.

Que pensez vous de ces suppositions, au moins la première partie, la seconde sur la re-indexation étant plus hypothètique.

PeeWee · 1 Juin 2006

Nan je ne suis pas convaincu, mon site voit toujours son nombre de pages indexées augmenter malgré le fait que certaines pages n'attirent aucun utilisateur de GG.

dobey · 1 Juin 2006

Après vérification, la désindexation est intervenue 9 mois après le lancement du site et non pas 6 mois. Ton site a t il au moins 9 mois d'existance?

Sinon, seconde hypothèse : Google flaire les pages qui ne sont jamais visitées (quelle que soit la source) grâce à la ToolBar. Dans le cas de mon site, je pense que certaines pages n'ont jamais été visitées par qui que ce soit, pas même par moi. Avec des milliers d'annonces en marque blanche, on a vite fait d'avoir par exemple 30 pages de résultats dans la rubrique "voiture Ile de France".

Est ce que toutes les pages de ton site sont visitées, en navigation interne par exemple?

dd32 · 1 Juin 2006

Qu'en est-il des pages de son site qu'on visite lorsqu'on est équipé de la toolbar ? Ca serait trop facile : pour éviter que GG désindexe mes pages car non visitées, j'y vais de temps en temps, c'est cela ?

dobey · 1 Juin 2006

Oui, la belle affaire. Déjà pour un site de plusieurs milliers de pages, tu as intérêt à mettre en place un bot qui simule des visites. Et puis dans ce cas, Google va re-indéxer la page quelques mois pour la tester avant de se rendre compte qu'il n'y a pas plus de visites et la voila qui re-disparait.

En fait, ça n'aurait pas vraiment d'intérêt pour le webmaster puisque ce sont des pages qui ne génèrent pas de trafic qui sont désindexées.

Je ne pense pas que l'objectif de Google dans le cas présent soit de proposer un classement plus pertinent ou de pénaliser un site : ce sont des pages qui sortent au fin fond du classement, donc jamais vues / jamais cliquées. L'objectif serait plutôt d'alléger ses machines en virant des millions de pages presque sans intérêt, et ce serait en rapport avec le problème de machines bourrées à bloc que Google a évoqué.

PeeWee · 1 Juin 2006

dobey a dit:
Après vérification, la désindexation est intervenue 9 mois après le lancement du site et non pas 6 mois. Ton site a t il au moins 9 mois d'existance?

Sinon, seconde hypothèse : Google flaire les pages qui ne sont jamais visitées (quelle que soit la source) grâce à la ToolBar. Dans le cas de mon site, je pense que certaines pages n'ont jamais été visitées par qui que ce soit, pas même par moi. Avec des milliers d'annonces en marque blanche, on a vite fait d'avoir par exemple 30 pages de résultats dans la rubrique "voiture Ile de France".

Est ce que toutes les pages de ton site sont visitées, en navigation interne par exemple?

Mon site a près de 10 ans

Mais il a été refait entièrement ya 1 mois !

dd32 · 1 Juin 2006

voici de quoi agrémenter le débat alors :lol: :

- ce que fait google toolbar

- Matt Cutts Of Google Comments On Google Toolbar & Rankings

dobey · 1 Juin 2006

Très bons liens dd32, merci!

Je pense de plus en plus que Google base son classement sur le comportement des visiteurs. Il faut bien que tous ses outils gratuits servent à quelque chose... pour lui. Et de fait (le sujet a déjà été bien abordé) Google dispose de stats très précises sur nos sites et leurs visiteurs. Il y a certainement matière à améliorer l'algo.

orvinfait · 1 Juin 2006

crindor · 1 Juin 2006

>>Avec des milliers d'annonces en marque blanche, on a vite fait d'avoir par exemple 30 pages de résultats dans la rubrique "voiture Ile de France".

bah voila, il est la ton probleme

dobey · 2 Juin 2006

crindor a dit:
bah voila, il est la ton probleme

Mais ce n'est pas un problème! Puisqu'il desindexe les pages sans trafic. Ma fréquentation baisse peu, et Google nettoie son index. Ca me va très bien. Seulement, ça peut aider à mieux comprendre les changements de l'algo.

caro · 7 Juin 2006

effectivement quand j'analyse tous mes sites, je m'appercois que malgré une forte désindexation de beaucoup de leurs pages et bien le traffic reste correct voire presque idem.

le raisonnement de dobey est intéressant,
d'autres membres de wri sont ils dans le meme cas ?
désindexation de beaucoup de pages mais faible perte de traffic ?

luxe-campagne · 8 Juin 2006

Si cela est vrai, ça me fait déprimer : il n'y aura plus de place sur internet pour l'info qui nous intéresse et qu'on est le seul à chercher et que juste un webmaster a mis quelque part sur une page que personne ne va voir sauf nous.

Je ne trouve pas cela pertinent.

Ce n'est pas parce que tout le monde cherche la météo du jour que seules les pages météo doivent être indexées par les moteurs (en poussant le raisonnement à l'extrême bien sûr)

dobey · 8 Juin 2006

luxe-campagne a dit:
Si cela est vrai, ça me fait déprimer : il n'y aura plus de place sur internet pour l'info qui nous intéresse et qu'on est le seul à chercher et que juste un webmaster a mis quelque part sur une page que personne ne va voir sauf nous.

Tout à fait d'accord sur le principe, mais une page avec une véritable info sera visitée au moins quelques fois (webmaster, habitués du site etc.) et donc indexée. De plus, on peut supposer que Google prend d'autres critères en compte.
Exemple de mon site : contenu assez similaire à d'autres pages (mon site propose de la marque blanche) + des milliers de pages sur le site (donc très probablement du contenu généré automatiquement) + aucun visiteur = desindexation.
Ce "filtre" viserait surtout les sites commerciaux non-pertinents. Il faudrait voir si les sites avec un vrai contenu rédactionel peu visités sont stables.

Cendrillon · 8 Juin 2006

dobey a dit:
Je pense de plus en plus que Google base son classement sur le comportement des visiteurs. Il faut bien que tous ses outils gratuits servent à quelque chose... pour lui. Et de fait (le sujet a déjà été bien abordé) Google dispose de stats très précises sur nos sites et leurs visiteurs. Il y a certainement matière à améliorer l'algo.

oui, je suis complètement d'accord avec ton analyse dobey (tu ne serais pas capitaine toi ?... :wink: ) ...
j'ai d'ailleurs déjà fait plein de posts dans ce sens dont les derniers à l'occasion d'une discussion avec les excccccelllllents zapman et spidetra (entre autres :wink: ), ici ...

gastro · 9 Juin 2006

Cendrillon a dit:
(tu ne serais pas capitaine toi ?... :wink: ) ...

"Strasky, vous avez 24h pour me trouver ce type, après vous êtes viré!!!" (hurler cette phrase avec un mug de café dans une main et un doonuts dans l'autre).
Bravo, je vois les références!

JeunZ · 9 Juin 2006

Si c'est ça ça devient vraiment complexe comme algo.

Je suis dans le cas d'une désindexation massive mais aucune perte de trafic...

Donc c'est plausible, mais ça me plait moyen comme idée, ça voudrait dire une grosse perte d'information sur internet.

Tout ce qui est pas info de masse se perdrait petit à petit.

Le X prendrait le dessus etc...

luxe-campagne · 9 Juin 2006

C'est tout à fait mon avis JeunZ !

Ou alors Google serait assez "intelligent" et deviendrait juge pour décider des pages à désindexer ?

HUummm....

dobey · 9 Juin 2006

Mais oui, c'est ce que je disais plus haut :
"contenu similaire (marque blanche par exemple) + des milliers de pages sur le site (donc très probablement du contenu généré automatiquement) + aucun visiteur = desindexation"
J'adore me citer

Cela rejoint ce que disait Matt Cuts récement sur la désindexation, un truc du genre "ceux qui font de la marque blanche doivent se poser la question de la valeur ajoutée qu'ils proposent au visiteur".

On pourrait écrire la démarche comme ceci :
1- Identification du contenu comme redondant (genre marque blanche)
2- IF pas de visite (le service n'a aucun intérêt particulier sinon proposer pour la millième fois les mêmes annonces mixad) THEN désindexer ($monsite)
3- IF des visites (mon site propose un service spécial ou une présentation particulière, donc valeur ajoutée donc visites hors moteurs) THEN indexer ($monsite)

Les sites au contenu original ne seraient pas concernés par ce filtre. A confirmer.

En résumé, pour Google, "valeur ajoutée" serait synonyme de "trafric spontanné" (source autre que les moteurs).

Audiofeeline · 10 Juin 2006

On va être obligé de faire des recherches et de cliquer sur les liens vers son site?... :lol: :lol: :lol:

john70 · 10 Juin 2006

tout cela reste une hypothese, j'ai eu beaucoup de pages indexees et desindexees qui vont pas du tout dans le sens de cette explication...

- beaucoup de pages de contenu desindexees
et beaucoup depages dynamiques multilangues indexees meme si elle n'ont jamais eu 1 seul visiteur...j'ai meme des pages qui n'existe plus qui ressortent...

Conclusion je suis vraiment pas convaincu par cette hypothese...

On peut pas considerer une hypothese de ce genre comme vrai avec autant d'exception....

Sur les 1000 et quelques pages qui ont ete reindexees j'en ai la moitie qui sont generes dynamiquement par le script et qui ne presentent aucun interet...

tophus · 13 Juin 2006

Il est clair que google se sert très certainement de toutes les informations dont ils disposent pour indexer et désindexé des pages, la toolbar fait parti de ces moyens, mais il devient également difficile d'indexer des nouvelles pages sur un site existant, j'ai un site qui a été désindexé à 90%, il s'agissait effectivement de pages générer dynamiquement, mais avec un contenu réel le trafique était en progression mais pas encore énorme.... J'ai renommé chacune de mes pages désindexées, et créer des nouvelles, le robot passe mais n'indexe plus, s'il attend un trafique sur ces pages ça risque d'être dur sans être indexé, il reste que les liens sur mes pages indexés pour amener des visiteurs...

mr_go · 13 Juin 2006

tophus a dit:
Il est clair que google se sert très certainement de toutes les informations dont ils disposent pour indexer et désindexé des pages, la toolbar fait parti de ces moyens, mais il devient également difficile d'indexer des nouvelles pages sur un site existant

D'autant qu'il n'ya pas 100% d'utilisateur possédant la GTB...
Le tracking des utilsateurs est une réalité depuis la création du web, reste à savoir la place que ce paramètre prend dans l'algo.