Trop de pages dès le début : est-ce pénalisant ?

[gpt]

J'ai l'impression que Google n'aime pas les nouveaux sites avec des milliers de pages dès le début. Indexation beaucoup plus lente. Avez vous remarqué la même chose?
Dans ce cas, faut il brider le site en masquant des pages, commencer avec 1000 pages par exemple, puis en ajouter 1000 chaque semaine?

 

[Americas]

jamais essayé ce cas de figure :roll:

je sais que google n'aime pas les sites avec des milliers de links dès le début... mais des sites avec des milliers de pages :roll:

Lui faire ingurgiter des pages 1000 par 1000 ? ... il faut déjà qu'il indexe les 1000 premières. Sur les nouveaux sites l'indexation est beaucoup plus lente.

Et tu fais comment pour avoir des milliers de pages d'entrée ? je suppose que ce ne sont pas des pages statiques :wink:

 

[achtungbaby]

La solution pour les nouveaux site, le sitemap.

 

[gpt]

Et tu fais comment pour avoir des milliers de pages d'entrée ? je suppose que ce ne sont pas des pages statiques

Dans le cas d'affiliations pzr exemple (petites annonces, voyages, hotels etc) tu peux facilement créer un site dynamique avec 100000 pages dès le début.

 

[Americas]

oui... avec l'affiliation. Mais ce sont des pages dynamiques qui ne seront indexées que selon le bon vouloir du robot.

Au début, le bot ne verra que les pages statiques... ensuite il indexera peu à peu ces pages dynamiques en fonction de la notoriété du site. Alors même si une affiliation te donne 10.000 ou 20.000 pages potentiellement indexables... c'est le moteur qui les incorporera dans son index à sa guise.
Dans ce cas il n'y a aucun risque à placer tout cela en ligne dès le départ.

 

[gpt]

Alors la, avec la re-ecriture d'URL bien faite, tu m'expliques comment le moteur fait la différence entre statique et dynamique.
Je confirme que Google dans ce cas de figure indexe toute les pages assez rapidement (plus de 100 000 en 2 mois, déjà vu) même pour du contenu venant d'affiliation.

Seulement je me demande si un gros tas de pages d'un coup d'un seul dès le départ ne te fais pas rentrer illico presto dans le bac à sable, voir ralentissement de l'indexation.

 

[Americas]

Tu peux toujours tester... tu nous diras ensuite si t'es ensablé ou pas. Au moins ce sera un bon test et on saura que c'est un des trucs à ne pas faire :lol:

Malgré tout... qu'elles soient statiques ou dynamiques, j'ai rarement vu un site tout neuf voir ses 100.000 pages indexées en quelques jours... à moins de lui envoyer des links en masse... alors là oui il risque le bac à sable.

 

[dmathieu]

je pense que ZeCat doit pouvoir nous parler de ca, ayant eu un "probleme" similaire en voulant indexer le nouveau ruesdemaville.

 

[squawk]

Encore un phantasme comme le coup de "trop de liens", en tout pour ce qui concerne l'indexation ça ne pose aucun problème à Google, Yahoo et Msn même si tu balances 3 millions de pages.
Maintenant pour le positionnement.... difficile de conclure mais je pense pas que le nombre de pages soit un critère....

 

[gpt]

en tout pour ce qui concerne l'indexation ça ne pose aucun problème à Google, Yahoo et Msn même si tu balances 3 millions de pages.

Bien sur, mais je parle de délais, de vitesse d'apparition dans l'index.
Pour le site de mon profil (30000 pages), apparition de la home en 48h, puis première profondeur de l'arbo 24h après, mais disparition de celles-ci très vite (2 jours je crois). Depuis, plus rien. presque 15 jours avec seulement la home d'indexée. Il me semble que d'habitude, c'est plus rapide, ne serait ce que pour les 70 pages de la première profondeur. Après, pour les 30000 pages, je sais qu'il faut plusieurs semaines.

 

[Grantome]

De temps en temps, il faut un peu réfléchir.

Comment un pro met-il un site sur le web... Une page par jour ?
Non, un pro fait son site complet en local et lorsque tout fonctionne, il le met on-line.
Résultat des millier de page d'un coup.

Pourquoi GG pénaliserait quelqu'un qui veut mettre sur le web un fonctionnel ?

 

[u8086]

Seulement je me demande si un gros tas de pages d'un coup d'un seul dès le départ ne te fais pas rentrer illico presto dans le bac à sable, voir ralentissement de l'indexation.

J'ai dans l'idée (non vérifiée) que c'est plutôt le contraire...

 

[duplex13]

Salut,

Pour ma part, j'ai un site contenant (pour le moment) près de 21000 pages (dynamiques, mais avec des règles de réécritures d'url) et google indexe les pages petit à petit.

Dans les chiffres : le site est en ligne avec l'url rewriting depuis le 7 Aout. Le fichier utilisé par Google Sitemaps est soumis à la même date et j'ai pour le moment 468 pages indexées par google et le moteur viens régulièrement ajouter des pages de mon site à son index.

 

[gpt]

De temps en temps, il faut un peu réfléchir.

Merci du conseil, j'y avais jamais pensé...

Comment un pro met-il un site sur le web... Une page par jour ?

Avec un script, rien de plus simple.

Pourquoi GG pénaliserait quelqu'un qui veut mettre sur le web un fonctionnel ?

Et pourquoi Google pénaliserait il trop de BL d'un coup? Il lui faut bien des régles pour essayer de détecter les sites douteux, et elles sont souvent arbitraires.

On peut très bien créer un site vide de sens avec des centaines de milliers de pages en quelques heures (il y a eu un fil sur ce sujet récemment). Un dico, un script bien fait et je te propose un site de 500000 pages sur le thème de l'informatique ou du téléphone portable, avec de bonnes densités de mots mais vide de sens. Vous en avez surement déjà vu dans ce genre (voir les pages satellites de sites de Q).
Donc ce genre de site va proposer directement un paquet de pages, qui peuvent innonder Google assez vite.

On a parlé de courbe de croissance pour les BL de manière à éviter le sandboxage (heurk, c'est du franglish). On peut aussi l'envisager pour le nombre de pages.
[/quote]

 

[gpt]

Merci duplex13, voila du concret.
Est-ce que l'indexation commence par les pages de première profondeur? As tu vu une logique?

De mon coté, pour un site mis en ligne début juillet, j'en suis à 674 000 pages indexées d'après lui... Euh, je pense pas avoir les 674 000 pages, plutot de l'ordre 300000 à 500000. En tout cas, toutes les pages sont présentes d'après mes tests.
Par contre, je regrette de ne pas avoir suivi au jour le jour l'indexation de ce site.

 

[duplex13]

Dans mon cas, google indexe les pages en suivant les liens des pages indexées précédemment.

Une chose que je fais régulièrement aussi : mettre à jour mon fichier google sitemaps.

Par contre dans ton cas, je ne vois pas pourquoi tu t'inquiete si google a indexé autant de page de ton site : ça n'aura pas d'impact sur ton positionnement. Ce qui peut en avoir par contre est le nombre de backlinks qui en très peu de temps devient très important.

 

[gpt]

En fait, ce site de 500000 pages a grossi régulièrement depuis le début de son indexation (une centaine de pages sur le serveur au début) jusqu'à aujourd'hui, et comme tu le dis, il n'y a pas à s'inquiéter. Google a suivit.

Mais je viens de lancer un autre site avec tout de suite 30000 pages et j'ai l'impression qu'il met plus de temps a apparaitre. Voila le pourquoi du comment de mon post.

 

[WebRankInfo]

je me suis posé également le même genre de question
fin juin, 15000 pages ont été ajoutées du jour au lendemain sur un site absolument pas sandboxé qui contenait au moins 150 000 pages.

Du jour au lendemain le site a été pénalisé (toujours bien indexé mais baisse du trafic Google de 95%).

Mais je n'ai toujours pas réussi à vérifier si ce problème était lié à cet ajout de pages.

 

[u8086]

Ca me parraitrait le comble du filtrage anti-spamdexing : on pénaliserait les nouveaux sites avec beaucoup de contenu !

Autant je comprends le filtrage sur les backlinks. Mais pénaliser le nombre de pages... Il va plus rester que des pages perso dans Gogole.

 

[WebRankInfo]

ce n'est pas le nombre de pages mais l'accroissement anormal du nombre de pages.

Anormal par rapport aux habitudes du site peut-être. Comment gérer les nouveaux sites avec cette hypothèse ? Je ne sais pas...

 

[yeca]

Je suis en train de constater ça aussi.

J'ai énormément de pages, et seulement une toute petite partie d'indexées.

J'ai pris le parti d'y aller doucement niveau backlinks, histoire que google indexe petit à petit, de manière réguliere et pas brutale, histoire que l'évolution des backlinks et pages soit "normale".

 

[crindor]

15000 pages ont été ajoutées du jour au lendemain sur un site absolument pas sandboxé qui contenait au moins 150 000 pages.
Du jour au lendemain le site a été pénalisé (toujours bien indexé mais baisse du trafic Google de 95%).
.

j'ai eu un cas similaire et j'ai l'intime conviction que c'est effectivement lié
un site de 4 ans qui avait seulement 200 pages et qui sortait très bien sur les mots qu'ils contenaient
courant mai, ajout de 3000 pages, le 15 juin descente aux enfers, site complétement pénalisé y compris sur les 200 pages d'origine
il ne peux y avoir d'autre raison que celle-ci
j'avais d'ailleurs lancé un sondage à ce sujet, faudrait que je retrouve le thread

 

[WebRankInfo]

crindor, ton site a-t-il retrouvé ses positionnements ?

 

[crindor]

non
depuis début septembre j'ai essayé de faire annuler toutes les pages ajoutées pour "revenir" et pouvoir distiller plus facilement
j'ai utilisé le formulaire de suppression de pages, j'ai mis un disallow en htaccess, mais google continuait à visiter les pages
je me suis énervé et la semaine derniere j'ai supprimé toutes les nouvelles pages pour valeur de test
le bot va se goinfrer d'erreur 404, tant pis on verra bien ce que cela donne

 

[WebRankInfo]

pour faire supprimer tes pages, ce n'est pas un 404 qu'il faut lui envoyer, mais un 410.

 

[crindor]

concretement c'est çà qu'il faut mettre en debut de page ?
header(‘HTTP/1.0 410 Gone’);
ou çà dans le htaccess
#ErrorDocument 410 /error/410-gone.html

 

[WebRankInfo]

oui avec le header

 

[Grantome]

Pourquoi GG pénaliserait quelqu'un qui veut mettre sur le web un fonctionnel ?

Et pourquoi Google pénaliserait il trop de BL d'un coup? Il lui faut bien des régles pour essayer de détecter les sites douteux, et elles sont souvent arbitraires.

Je ne vois pas le rapport. Rien à voir.

Pour moi, GG ne pénalise pas un site qui débarque avec 100 000 pages.
Heureusement. Les nouveau site à être indéxé serait des sites non fini ou sans contenu.

Par contre, je pense que si un site est déjà sur a toile avec x pages. Et que se site passe d'un coup à x*10, GG ne doit pas prendre en compte ce changement immédiatement, mais jours après jours.

Mais, bon, je ne suis pas dans la tête de GG.

Tu préfères un film de 2h d'un coup ou 3 mn par jour pendant 40 jours...
Moi, je crois que les algo-guy essaient d'être le plus logique possible avant de penser à sanctionner.

 

[Cendrillon]

Encore un phantasme comme le coup de "trop de liens"

le fait que tu n'y crois pas n'en fait pas un phantasme pour autant ... même GoogleGuy a reconu que l'effet SandBox existe ... :wink:

 

[julesdsl]

Salut à tous,

Je relance ce sujet pour vous poser une question qui me tracasse.

J'ai mis en ligne un site de 3500 pages (environs) fin août. Ce site bénéficie d'un url rewriting complet, d'une quinzaine de backlinks, d'un "plan du site" et d'un Google sitemap.

Malgré tout, seule la page d'accueil est dans l'index de Google à ce jour. Les bots passent tous les jours mais font très peu de hits à chaque fois.

D'après vous est-ce normal d'attendre 1 mois avant que les pages de premier niveau soient indexées ? Est-ce que ça peut être du au fait de balancer 3500 pages d'un coup ?

Merci.
Julian

 

[u8086]

J'ai en effet l'impression que Gogole attend d'avoir sondé toute la profondeur du site avant de lancer une indexation complète.
Dans un premier temps, il ajouterait les URLs détectées à sa todo-list.

 

[duplex13]

Je ne suis pas sur de cette dernière affirmation, car pour ma part, je trace le robot quand il vient sur mon site et en fait, il reste assez discret et il ne semble pas qu'il crawle beaucoup plus que ce qu'il indexe.

Par contre après avoir lu tous les posts, j'ai l'impression que suite à mon url-rewriting, mon site dois ressentir l'effet sandbox, vu les différences de positionnement de certaine page entre google et yahoo.

 

[julesdsl]

Re,

Chez moi c'est clair, le bot de Google passe tout les jours mais ne fait qu'une dixaine de hits à chaque fois, dans ses conditions il va falloir 350 jours pour que toutes les pages soient indéxées et pour l'instant il n'y a qu'une page indexée :/

Par contre après avoir lu tous les posts, j'ai l'impression que suite à mon url-rewriting, mon site dois ressentir l'effet sandbox, vu les différences de positionnement de certaine page entre google et yahoo.

Duplex 13, Google pénaliserait-il les sites qui sont optimisés pour ses robots (URL Rewriting) ???

Dans ce cas comment faire ? Pour un site similaire à celui dont je parle plus haut (basé tous deux sur OS-Commerce) qui n'était pas rewrité il a fallu un an et demi pour que les pages produits soient indéxées.

Donc si je résume on à le choix entre :
- Attendre un an que son site rewrité sorte de la sandbox
OU
- Attendre un an et demi que les pages de son site non rewrité soient indéxées.

Bon je ne perd pas espoir quand même...

A+
Julian

 

[duplex13]

La réponse est simple : créer son site web en pensant dès le début à son référencement. Comme ça dès que le site sort, il est rewrité et contient dèjà un nombre de page proche de son maximum. Ensuite la vie du site lui apporte des pages petit à petit et google gère ça très bien.

Pour ma part j'ai accumulé les erreurs en terme de référencement (c'est d'ailleurs comme ça qu'on apprend) : d'abord une adresse chez free, puis une adresse de redirection, ensuite mon achat de nom de domaine avec la découverte que google ne suit pas les pages php ayants trop de variables et enfin url-rewriting : itinéraire d'un site sandboxé

 

[HawkEye]

Alors la, avec la re-ecriture d'URL bien faite, tu m'expliques comment le moteur fait la différence entre statique et dynamique.
Je confirme que Google dans ce cas de figure indexe toute les pages assez rapidement (plus de 100 000 en 2 mois, déjà vu) même pour du contenu venant d'affiliation.

Seulement je me demande si un gros tas de pages d'un coup d'un seul dès le départ ne te fais pas rentrer illico presto dans le bac à sable, voir ralentissement de l'indexation.

en août, passé de 4.500 à 15.000 pages indexéees en un seul mouvement (du jour au lendemain quoi...), et le nombre de visiteurs en provenance de GG est stable.

Je dirais "non pénalisant".

 

[gpt]

En réponse à ce thread que j'ai lancé il y a quelques temps:

J'ai testé la rapidité d'indexation sur deux sites similaires de petites annonces.

Site 1 : il propose dès le début environ 10000 annonces
Site 2 : je l'ai bridé, commençant avec 1000 annonces et ajoutant 1000 annonces chaque semaine.

Le plan des 2 sites est similaire.

Et bien le site 1 voit son nombre de pages indexées progresser bien plus vite que le 2.

Donc, il semble qu'il soit plus efficace de proposer tout de suite toutes les pages, même si cela représente une grosse quantité. Et pas plus de sandbox sur l'un ou sur l'autre.

Voila voila

 

[u8086]

Quelle est la durée de ton observation ?
( ça peut être interessant pour la Sandbox)

 

[gpt]

Le site 1 a été lancé il y a 34 jours et le site 2 il y a 20 jours. Je me suis fait un petit graphique pour suivre le nombre de pages indexées.
Les deux sites sont rentrés dans le classement (en première page directos) sur les requêtes que je surveille il y a de ça quelques jours. Le sandboxing est donc à venir à priori dans les prochaines semaines. Je vous tiens informés.

 

[leffroyable]

J'ai lancé un site début février (page d'attente avec un peu de texte) j'ai créé des liens petit à petit depuis d'autres sites, PR5 en avril, sortie du site finalisé début mai (eviron 1000 pages)
inscriptions continue dans une ou deux centaines d'annuaires
toutes les pages indexées par GG en 2 semaines, bon positionnement sur des expressions concurrentielles fin mai
effet yoyo dans GG pendant 2 semaines fin mai début juin, et depuis fin juin : plus rien !
SandBox de misère...