Connaitre toutes les pages de son site indexées dans Google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Jeanne5, 4 Juillet 2013.

  1. Jeanne5
    Jeanne5 WRInaute impliqué
    Inscrit:
    4 Juillet 2013
    Messages:
    510
    J'aime reçus:
    38
    Bonjour,

    Voici mon problème.

    Connaitre toutes les pages de mon site indexées dans Google ?

    Mon site a plus de 7 000 pages (sitemap fourni à GG et à 99% indexé).

    Mais GWT renvoie 7 300 pages indexées, il y a donc certainement des pages en DC qui sont indexées que j'aimerai nettoyer de l'index.

    Seulement je ne sais pas comment identifier ces pages en trop...

    J'aimerai donc récupérer la totalité des url indexées par GG de mon site.

    La commande site:monsite.com est bridée à 700 url.
    L'outil lien interne de GWT est limité à 1 000 url...
    Mon site n'est pas séparé en répertoire donc pas moyen de limiter les recherches avec inurl:

    Avez-vous une idée pour lister toutes les pages indexées par GG ?

    Je vous remercie d'avance.
    Je désespère un peu et a priori le Panda n'aime pas mes pages en trop.

    Merci.
    Jeanne.
     
    #1 Jeanne5, 4 Juillet 2013
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 034
    J'aime reçus:
    531
    Bienvenue sur WRI !

    ce que tu décris fait partie de ce que j'appelle la "masse noire" : les URL crawlées voire indexées et qui ne devraient pas exister. Et qui peuvent diminuer l'efficacité globale du référencement du site.

    ce n'est pas évident à déterminer. il faudrait que tu analyses les logs pour découvrir les URL crawlées par Google, pour ensuite voir lesquelles sont indexées.

    J'en parle aussi dans mes explications sur le crawl budget
     
    #2 WebRankInfo, 4 Juillet 2013
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Voir utiliser un crawler de type Xenu ou SEO Spider pour passer en revue toutes les url crawlables par les moteurs de recherche, et les comparer avec les url que tu connais (via le sitemap, qui dans ce cas de figure peut s'avérer très pratique).
     
    #3 UsagiYojimbo, 5 Juillet 2013
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 413
    J'aime reçus:
    0
    même pas, car les url crawlables peuvent provenir de sources extérieures.
    exemple vécu : des aspirateurs de sites aspirent le contenu d'autres sites/forums. Dans le cas d'url longues (en fait pas si longues que cela), l'url visible est affichée avec des "..." afin de la raccourcir. Pour ces aspirateurs, c'est une nouvelle url et ça fera, selon la méthode de troncature, au pire plein de 404, sinon, éventuellement, des code 200 (ou 301, selon comme on gère) avec plein d'url dupliquées
     
    #4 Leonick, 5 Juillet 2013
  5. Jeanne5
    Jeanne5 WRInaute impliqué
    Inscrit:
    4 Juillet 2013
    Messages:
    510
    J'aime reçus:
    38
    Merci à tous.

    J'avais commencé à écrire un soft pour analyser mes logs, et je voulais être sûr qu'il n'y avait pas de meilleures solution.
    Ou quelqu'un qui avait déjà fait ça...

    Merci Olivier, tu confirmes donc mon idée que la seule méthode est d'analyser les logs.

    Quelqu'un connait-il un script qui facilite ça ?

    Effectivement Leonick, les pages de ce type que j'ai réussi à trouver venaient de l'extérieur.
    Depuis j'ai amélioré le site avec de noindex et des canonical quand le REQUEST_URI ne correspond pas à celui que j'attend.

    Mail il me reste cette fichu "masse noire" à identifier...
     
    #5 Jeanne5, 5 Juillet 2013
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 034
    J'aime reçus:
    531
    3 ans après, je réponds en vidéo (complétée par un article) :wink:
     
    #6 WebRankInfo, 15 Avril 2016
  7. aurelie92
    aurelie92 Nouveau WRInaute
    Inscrit:
    24 Avril 2016
    Messages:
    8
    J'aime reçus:
    0
    Bonjour, 100 fois que je lis des solutions à ces soucis de indexation, celle ci commence à me plaire.
     
    #7 aurelie92, 26 Avril 2016
  8. casasierrasalamanca
    casasierrasalamanca WRInaute occasionnel
    Inscrit:
    24 Février 2013
    Messages:
    379
    J'aime reçus:
    3
    génial Olivier, juste ce que je cherchais, genial!
     
    #8 casasierrasalamanca, 27 Février 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Connaitre indexées Google Forum Date
Pages indexées non voulu : Connaitre le lien ? Est-ce gmail ? Crawl et indexation Google, sitemaps 22 Janvier 2012
Connaître l'âge d’un site sans commande whois Noms de domaine et référencement 27 Décembre 2020
Outil pour connaître l'ensemble des backlinks d'un site Débuter en référencement 20 Août 2020
script ou méthode pour connaitre ses 404 Administration d'un site Web 4 Août 2020
Astuce Un bon outil pour connaître la valeur de mon trafic organique ? Le café de WebRankInfo 1 Juin 2020
Connaître la valeur d'un site (Backlinks, prix du site etc. ) Débuter en référencement 30 Mars 2020
Changer le mdp sans connaitre l'ancien chez Digital Ocean Administration d'un site Web 6 Janvier 2020
comment faire connaître un site emonsite.com Débuter en référencement 21 Novembre 2019
netlinking : 20 règles à connaître sur les liens Netlinking, backlinks, liens et redirections 2 Juillet 2019
Faire connaître un nouveau site Débuter en référencement 10 Septembre 2018