Référencer plusieurs millions de pages

Discussion dans 'Crawl et indexation Google, sitemaps' créé par 7804j, 2 Juillet 2014.

  1. 7804j
    7804j WRInaute discret
    Inscrit:
    20 Avril 2011
    Messages:
    167
    J'aime reçus:
    0
    Bonjour,

    J'avais créé autrefois le site internet http://www.4chandata.org, une archive publique du célèbre 4chan. Il était extrêmement mal conçu, très moche et bourré de pub (voir http://4chandata.org/x-39 par exemple). Je l'avais créé à la base dans le cadre d'une expérience SEO sur le référencement massif de contenu artificiel. Malgré tout et contre toute attente, il a rapidement dépassé les 500 000 visites par mois et plusieurs millions de pages étaient référencées sur Google.
    J'ai donc voulu totalement redévelopper ce site et le rendre un peu plus agréable, un peu plus utilisable et moins bugué. J'ai donc ouvert http://www.4chanarchive.net, et j'ai effectué une redirection permanente de la page d'accueil de 4chandata.org (qui avait un pagerank de 3) vers 4chanarchive.net.

    La nouvelle version, 4chanarchive.net, existe désormais depuis plusieurs mois, mais ne fonctionne pas du tout au niveau du référencement. Il a toujours un pagerank inexistant et atteint rarement plus de 20 000 visiteurs par mois via Google (bien sûr, l'ancien site a perdu quasiment tout son trafic...). Mais surtout, sur les presque 2 millions de pages qu'il contient, seules 188 000 existent dans l'index google (https://www.google.ch/search?q=site%3A4chanarchive.net). Quand aux images, sur les 17 millions du site, à peine quelques centaines se trouvent sur Google Images.
    Je ne comprends du coup pas du tout comment ce nouveau site peut ne pas fonctionner, alors que l'ancien fonctionnait à merveille. La redirection permanente a pourtant bien été prise en compte par Google, et j'ai tout fait pour optimiser l'arbre de navigation permettant d'accéder à n'importe quelle page profonde en seulement quelques clics. Bien entendu, toutes les pages se trouvent dans le sitemap sur Google Webmaster.

    Le fait que les images soient très lourdes et très nombreuses pourrait-il être à l'origine du mauvais fonctionnement de cette version ? Pour comparer : Ancien site : http://4chandata.org/x-39 Nouveau site : http://4chanarchive.net/boards/x/0
    En fait, j'ai peur que le fait d'avoir amélioré la qualité de l'archivage ait rendu le site encore plus proche du site original et des autres archives 4chan, rendant le contenu, aux yeux de google, moins original et donc plus artificiel.

    Si vous avez une idée/des suggestions concernant ce qui pourrait expliquer une telle différence ou comment faire en sorte que Google référence plus de pages (dans un premier temps, le problème est plus la quantité de pages référencées que la qualité du référencement) et d'images, ce serait très volontiers.

    Merci d'avance pour votre réponse.

    7804j
     
  2. Geo2frey
    Geo2frey Nouveau WRInaute
    Inscrit:
    22 Janvier 2010
    Messages:
    11
    J'aime reçus:
    0
    Pourquoi tu n'as pas mis en ligne ta refonte sur "4chandata.org" ?
    Il aurait je pense fallu faire ça.

    Si tu passes de 500 000 visiteurs/mois à 20 000 c'est qu'il y a un sérieux PB comme tu l'a constaté.

    Est ce que tu as utilisé des outils de crawl pour voir si le robots de GG ne serait pas bloqué ?
    Que te dit GWT ?

    ++
     
  3. 7804j
    7804j WRInaute discret
    Inscrit:
    20 Avril 2011
    Messages:
    167
    J'aime reçus:
    0
    Principalement pour deux raisons :
    - Je souhaitais changer le nom du site
    - Je souhaitais conserver les pages internes de l'ancien site. C'est pour ça que je n'ai redirigé que la page d'accueil, étant donné que les pages internes contiennent du contenu qu'on ne retrouve pas forcément sur la nouvelle version

    Je suspecte donc que cette deuxième raison soit la cause du problème. Est-ce que le fait de n'avoir redirigé que la page d'accueil pourrait avoir donné un "signal" à Google qu'il ne s'agit pas du même site, et donc qu'il ne mérite pas le référencement de l'ancien ? Dans tous les cas, il est très étrange que 4chanarchive.net n'ait toujours pas ne serait-ce qu'un pagerank de 0 ou de 1 (je le rappelle, il devrait être de 3) :/

    Google Webmaster ne rapporte aucun problème. Je peux fournir toutes les captures d'écran ou autres éléments potentiellement utiles si tu souhaites savoir qqch sur la configuration du site.
     
  4. Geo2frey
    Geo2frey Nouveau WRInaute
    Inscrit:
    22 Janvier 2010
    Messages:
    11
    J'aime reçus:
    0
    Si tu as redirigé seulement la page d'accueil et aucune autre page, tu repars presque de zéro avec ton nouveau site.
    En plus je ne pense pas que Google ait apprécié que tu ne redirige que l'index de ton ancien site (j ai pas de preuve par contre, tu peux jeter un oeil dans l aide webmaster tools).
    C'est peut etre pour ca que ton ancien site a baissé aussi en ref.

    Ton nouveau site à 2 000 000 de pages. Ce n'est pas rien. Même avec une bonne arbo, les crawler de Google passent dessus mais ne vont pas tout explorer du jour au lendemain.

    Utiliser un logiciel de crawl genre screaming frog sur un echantillon pour voir s'il n'y a pas de blocage.
    assure toi que tes pages ne sont pas trop longues à charger
    fais un max de backlink vers tes pages profondes mais bon avec 2 millions de pages ca sera pas un levier puissant

    Après j'ai jamais taffé sur des sites avec 2 millions de page. A chaque refonte je garde le même NDD et fait des 301 si besoin.
     
  5. bushi893
    bushi893 Nouveau WRInaute
    Inscrit:
    23 Juillet 2014
    Messages:
    3
    J'aime reçus:
    0
    je crois que google penalise les sites qui ont subitement pleins de nouveaux liens (>1000), je ne connais pas la limite mais plusieurs referenceurs m ont dit ca, c est pourquoi je n ai jamais decide de changer de domaine.

    apres de memoire, je crois qu il y a qlq chose dans google webmaster pour migrer d un domaine a un autre, j avais vu ca il y a quelques annees deja, je ne sais pas trop ce que ca vaut, je n ai pas tente au final
     
  6. Geo2frey
    Geo2frey Nouveau WRInaute
    Inscrit:
    22 Janvier 2010
    Messages:
    11
    J'aime reçus:
    0
    Peux tu préciser et donner ta source ?

    Oui, il faut aller dans Google Webmaster Tools et cliquer sur la petite roue dentée. Il est ensuite proposé "Changement d'adresse"
     
  7. 7804j
    7804j WRInaute discret
    Inscrit:
    20 Avril 2011
    Messages:
    167
    J'aime reçus:
    0
    Merci beaucoup ! Je ne connaissais pas cette fonctionnalité, et c'est peut-être à cause de ça...

    Malheureusement, lorsque j'utilise l'outil, je reçois ce message d'erreur : "Échec de la redirection 301. Nous avons détecté que l'adresse racine de votre ancien site (4chandata.org) ne redirige pas encore vers l'adresse racine de votre nouveau site (4chanarchive.net)."

    Pourtant, l'entête http contient effectivement une redirection 301, et mon fichier index.php de 4chandata ne contient que deux lignes :
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://4chanarchive.net");

    Comment est-ce possible et que faire ???
     
  8. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Il n'y a pas de source: c'est une affirmation basée sur une information incomplète.

    "1000 liens", ça ne veut rien dire.
    Donne-moi "1000 liens" de sites de très bonne réputation, dans ma thématique... je les prends.
    Donne-moi "1000 liens" pourris, je n'en veux pas même si tu me payes.

    "1000 liens", ce n'est pas une valeur repère...
    1000 nouveaux IBLs pour un site parfaitement inconnu, c'est "atypique", donc à risque - ce qui ne signifie pas ipso facto "pénalité".
    1000 nouveaux IBLs pour amazon.com, c'est 0,0006% du volume existant... soit encore moins que négligeable.

    Chaque cas est différent.
     
  9. Geo2frey
    Geo2frey Nouveau WRInaute
    Inscrit:
    22 Janvier 2010
    Messages:
    11
    J'aime reçus:
    0
    1) Quel est le code de redirection que tu as mis dans ton htaccess ?
    2) Il se peut que les infos de GG dans GWT ne soient pas à jour (mais j'ai du mal à y croire)
     
  10. 7804j
    7804j WRInaute discret
    Inscrit:
    20 Avril 2011
    Messages:
    167
    J'aime reçus:
    0
    Je n'ai pas de redirection .htaccess puisque, comme je l'ai dit, j'ai utilisé du php pour modifier les headers de mon index.php (cf mon message juste au-dessus). De toute façon, les headers du site sont publics, donc normalement tu devrais pouvoir les voir. Je les ai d'ailleurs checké et je ne vois pas de problème non plus, donc c'est assez bizarre :/
     
  11. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 979
    J'aime reçus:
    121
    Je pense clairement qu'en ne redirigeant que la home, tu as opté pour une très mauvaise stratégie, et que tu coup tu n'as pas récupéré sur le nouveau site la popularité de l'ancien. Du coup, forcément, ça ne fonctionne pas aussi bien. Quant au PR, ça fait des mois qu'il n'a plus été mis à jour (et des années qu'on répète que ce n'est pas l'indicateur absolu, il faut éviter de se bloquer là-dessus).
     
  12. 7804j
    7804j WRInaute discret
    Inscrit:
    20 Avril 2011
    Messages:
    167
    J'aime reçus:
    0
    Ca ne répond pas à la question de pourquoi la redirection manuelle sur Google Webmaster ne fonctionne pas :/

    C'est totalement faux de dire que le pagerank n'a pas été mis à jour. Récemment, plusieurs de mes autres sites ont vu leur pagerank modifié. Et bien qu'il ne soit pas un indicateur absolu, il s'avère très utile malgré tout.
     
  13. MickaëlC2
    MickaëlC2 Nouveau WRInaute
    Inscrit:
    23 Septembre 2013
    Messages:
    48
    J'aime reçus:
    0
    Pourquoi ne pas retirer ta redirection 301 pour voir si ton ancien site reprend ses 500000 visiteurs par mois?

    dans un deuxieme temps si ton traffic est revenu tu fais des redirections 301 page a page de l'ensemble du site ancien vers le nouveau.
     
  14. 7804j
    7804j WRInaute discret
    Inscrit:
    20 Avril 2011
    Messages:
    167
    J'aime reçus:
    0
    J'ai supprimé la redirection 301 mais pour l'instant je ne constate pas de retour à la situation initiale :/
     
  15. lagzor
    lagzor WRInaute discret
    Inscrit:
    20 Mars 2011
    Messages:
    92
    J'aime reçus:
    1
    Bonjour,

    J'ai suivi avec attention votre histoire et cela m'intéresse beaucoup.

    Il n'est pas logique de rediriger seulement la page d'accueil d'un site, même si c'est celui qui contient les backlinks. En effet, il aurait fallu reprendre toutes les pages pour les mettre sur le nouveau site.

    Concernant le pagerank, en effet il existe d'autres indicateur comme l'alexa rank ou le trust rank. Mais je pense que ce chiffre compte encore dans le positionnement d'un site. Mais qu'en est-il avec le nofollow maintenant ...

    Qu'en est-il aujourd'hui de l'ancien site ? Je ne pense pas qu'il reprendra son ancien trafic, car ce que tu as fait peut être considéré comme une triche pour Google...
     
Chargement...
Similar Threads - Référencer Forum Date
Se référencer à l'étranger avec un .fr ? (.fr/it ...) Référencement international (langues, pays) 11 Mai 2022
WordPress Concours SEO : aide pour référencer site sur Boinmadig Demandes d'avis et de conseils sur vos sites 31 Mars 2022
Un blog spécial pour référencer un site Rédaction web et référencement 6 Septembre 2021
Référencer site généré via Google Sheets ? Débuter en référencement 4 Mars 2021
Comment référencer plusieurs produits similaires ? Débuter en référencement 13 Janvier 2021
Comment référencer un site à l'international anglais grâce au netlinking ? Débuter en référencement 11 Janvier 2021
Comment référencer une œuvre littéraire ? Problèmes de référencement spécifiques à vos sites 7 Décembre 2020
Balise title="" dans un lien inutile pour référencer ? Débuter en référencement 11 Octobre 2020
Se référencer sur la métropole la plus proche Référencement Google 6 Août 2020
Déréférencer les archives des pages dans Google ? Référencement Google 19 Mai 2020
Référencer des pages archives Référencement Google 28 Octobre 2019
Comment déréférencer une page d'un site abandonné ? Crawl et indexation Google, sitemaps 18 Septembre 2019
Chine - Référencer un site en langue anglaise sur Baidu Référencement international (langues, pays) 9 Septembre 2019
WordPress Référencer par défaut Home plutôt que Accueil Référencement Google 5 Septembre 2019
Obliger Google à référencer avec la langue dans l'URL Référencement international (langues, pays) 28 Mai 2019
Comment déréférencer des URL 404 (après attaque) Problèmes de référencement spécifiques à vos sites 27 Mars 2019
Référencer un site dans un annuaire local, bénéfique pour le référencement naturel ? Débuter en référencement 1 Novembre 2018
aidez moi a référencer mon blog Problèmes de référencement spécifiques à vos sites 31 Octobre 2018
Référencer un site multilingue sous joomla Référencement international (langues, pays) 24 Septembre 2018
Impossible de référencer un site dans un sous-dossier Référencement Google 15 Février 2018