nouveau site contenant un sitemap.xml et delais de crawl

Discussion dans 'Crawl et indexation Google, sitemaps' créé par oli004, 23 Juin 2005.

?

Delais avant le crawl d'un site, après le statut "downloaded" d'un sitemap

  1. moins de 24 heures

    0 vote(s)
    0.0%
  2. entre 24 et 48 heures

    0 vote(s)
    0.0%
  3. entre 3 et 7 jours

    0 vote(s)
    0.0%
  4. après plus d'une semaine

    0 vote(s)
    0.0%
  5. Pas encore malgré plus d'une semaine

    0 vote(s)
    0.0%
  1. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    Bonjour à tous,

    Le sondage concerne les pages non indexées jusque là par Google.

    La réponse de Gg étant très évasive concernant le delais avant le crawl de pages mentionnées dans un sitemap, il serait intéressant de recueillir vos constations personnelles.

    La quetion est de savoir combien de temps en moyenne met Gg pour crawler de nouvelles pages déclarées dans un sitemap.

    Cela, à partir du moment ou celui-ci aura été téléchargé (staut downloaded).

    Je ne parle pas du temps d'indexation, qui peut varier suivant les datacenters. Uniquement le crawl des pages.
     
  2. ehcs
    ehcs Nouveau WRInaute
    Inscrit:
    4 Avril 2005
    Messages:
    15
    J'aime reçus:
    0
    Bonjour,

    Dans mon cas entre 1 et 12 heures après le download du sitemap.
    Je rajouterais que Google download mon sitemap toutes les 12 heures.
     
  3. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    Tu as bien de la chance, car j'en suis à mon troisième download de sitemap depuis la soumission, il y a quatres jours sur l'un de mes forums et toujours aucune trace de crawl.
     
  4. cederig
    cederig Nouveau WRInaute
    Inscrit:
    17 Juin 2005
    Messages:
    12
    J'aime reçus:
    0
    Dans mon cas il indique 9h . Mais le premier download du fichier c'est fait 20 min après la soumission.
     
  5. boussole
    boussole WRInaute impliqué
    Inscrit:
    6 Janvier 2004
    Messages:
    600
    J'aime reçus:
    0
    J'avais un site assez jeune avec juste la page d'index crawle. J'ai fait un sitemap, tout le site a ete crawle le jour meme. Alors qu'il etait dans GG depuis au moins 2 mois avec juste l'index

    OliOO4 l'allier est en force :wink:
     
  6. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    Etait-ce un site statique ou dynamique ? si oui, avec de l'UR ?

    :wink: Ah ouaip, j'avais pas remarqué la loc de ton profil
     
  7. boussole
    boussole WRInaute impliqué
    Inscrit:
    6 Janvier 2004
    Messages:
    600
    J'aime reçus:
    0
    Site statique en HTML
     
  8. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    Toujours aucun crawl de google palgré un site map download plusieurs fois et un UR lui facilitant la tâche.

    Je vais finir par croire qu'il y a un problème sur mon site, ou qu'il est purement et simplement blacklisté.

    puisqu'il a été indexé (une 50 aine de pages) puis désindéxé pour ne laisser plus que la page d'accueil de mon forum.

    Pensez-vous que les bots n'arrivent pas à aller plus profond ?

    Bon je veux bien que le site soit ressent mais tout de même, ça n'explique pas la desindexation.

    Le site en question : www.allier-nation.com/forum/index.php
     
  9. glubss
    glubss WRInaute discret
    Inscrit:
    9 Juillet 2004
    Messages:
    67
    J'aime reçus:
    0
    Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.
     
  10. Niky Bee
    Niky Bee WRInaute discret
    Inscrit:
    10 Février 2005
    Messages:
    50
    J'aime reçus:
    0
    Site Maps

    Moi j'ai soumis le 21/06.

    Le statut est Ok

    Enregisté par google tous les jours

    Et rien
     
  11. Smarties
    Smarties Nouveau WRInaute
    Inscrit:
    27 Août 2003
    Messages:
    37
    J'aime reçus:
    0
    J'ai un peu plus de chance, j'ai place le sitemap il y a 24 heures et quelques heures apres, GG a commence un crawl de mes pages le plus profondes.
     
  12. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    Ah oui ?

    Depuis quand et peux tu nous dire ou tu as lu ça stp, parce que ce serait une info plus qu'importante.
     
  13. glubss
    glubss WRInaute discret
    Inscrit:
    9 Juillet 2004
    Messages:
    67
    J'aime reçus:
    0
    Ca date d'un moment, un article suite à une annonce de google annoncant son attention de ne plus référencer de site avec un forum. Je n'ai pas de forum donc je n'ai pas été plus loin et je ne sais pas si ça a été effectif.

    C'est pourquoi j'ai mis "Il me semblait..."
     
  14. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    peut etre est-ce vrai. Ou alors il faut avoir un forum complémentaire à un site principal. Je ne sais pas.

    Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.
     
  15. glubss
    glubss WRInaute discret
    Inscrit:
    9 Juillet 2004
    Messages:
    67
    J'aime reçus:
    0
    Ce serait pertinent. C'est pour cette raison que je n'en ai pas.

    :D
     
  16. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    18 166
    J'aime reçus:
    0
    Webrankinfo: ~550.000 pages indexées...
     
  17. glubss
    glubss WRInaute discret
    Inscrit:
    9 Juillet 2004
    Messages:
    67
    J'aime reçus:
    0
    Droit d'aînesse
     
  18. cthierry
    cthierry WRInaute accro
    Inscrit:
    15 Janvier 2005
    Messages:
    2 754
    J'aime reçus:
    5
    Je ne pense pas ayant une flopée de page indexé par google et qui font parite du forum intégré de xoops.
     
  19. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    WRI n'est ps un bon exemple, car au cas ou ous ne l'aurez pas remarqué, il y a quand même pas mal de contenu HORS du forum (voir le menu supérieur)

    Là ou la question peut se poser, c'est pour le cas de forum rescents, pour des site ne contenant QUE des pages de forum !
     
  20. sebyrollins
    sebyrollins WRInaute discret
    Inscrit:
    7 Juin 2005
    Messages:
    59
    J'aime reçus:
    0
    Bonjour,
    doit-on en conclure que Google peut venir plusieurs fois "crawler" le site (le parcourir), mais ne pas mettre à jours ces registres ?

    En fait ayant un site ou il y a de l'actu et des opérations saisonnières, j'ai mis en place une (ou un) sitemap en xml (index+categorie+20 fichiers xml). Google me rend un status OK et me l'a downloadé. De plus Google vient tous les jours (je le vois dans awstat) chercher je ne sais pas quoi.

    Par contre aucun moyen de savoir si c'est traité entièrement. Je m'apercois juste que mes nouvelles pages ne sont pas indexées, ou qu'elles le sont plusieurs jours apres. Et que d'autres pages ne sont pas du tout indexées alors qu'elles devraient l'être puisque c'est du contenu distinct. Une piste ?

    exemple, quand je recherche dans google ces termes :
    http://www.google.fr/search?sourceid=na ... layer+2000

    il devrait m'afficher en premier la page concernant ce produit avec le title et H1 avec le nom du produit ? :
    http://www.oovin.com/detailvin-idvin-21 ... mat-3.html

    Mais lui m'affiche des pages sattelites autour du produits
    -> page "cépage syrah"
    ->page "domaine"

    Pourquoi Google ne veut pas de ce genre de page ?
     
  21. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    Peut être les interprete-t-il comme des pages plus pertinantes en fonction du nombre et de la qualité des éléments qu'il trouve sur les pages satelites.
     
  22. sebyrollins
    sebyrollins WRInaute discret
    Inscrit:
    7 Juin 2005
    Messages:
    59
    J'aime reçus:
    0
    J'ai fait justement en sorte de mettre le titre de la page dans le "title" et h1, avec un contenu unique et spécifique derrière, c'est pour ca que je trouve ca etrange q'une recherche = titre me donne comme résultats des pages sattelites ( Ou plutot le fait qu'il n'indexe pas cette page).

    De plus, certaines page de même type, construit pareil, d'autres produits sont elles référencées sur la page du produit.
    ex: http://www.google.fr/search?sourceid=na ... %A9galithe

    Ce sont les calculs savant de google qui imposent cela ?
    J'ajoute que tous les liens de ces produits sont dans le sitemap
     
  23. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    C'est déja très bien, et ça evite d'avoir du dupplicate.

    Une autre hypothese, cette fois, beaucoup plus terre à terre je l'avous, mais es tu sur que ces pages, que tu ne vois pas encore indexées ont bien été crawlées?

    Car si d'après ton architecture de site, tu as d'autres pages similaires (dans la forme mais pas dans le contenu) il n'y a pas de raison qu'elles ne soient pas indexées.

    Ce que je constate, c'est que tu as déja 11 100 pages référencées, mais un très grand nombre apparaissent via la commande site:tonsite.com sans titre ni description !
    Hors, certaines sont bien renseignées avec titre et description unique.
    Toutefois, peut être que vu la quantitié de pages que tu as d'indexée dans google, il est possible qu'avec une analyse d'ensemble, qu'elles se ressemblent toutes et de se fait ne soit pas mentionné le détail via la commande site:..

    Ceci étant, après avoir effectué une petite recherche au hasard, je trouve que les résultats mentionnés sont très pertinents quand même. Donc, tu n'as peut être pas de raison de t'alarmer et tes pages finiront bien par être indexées.
     
  24. sebyrollins
    sebyrollins WRInaute discret
    Inscrit:
    7 Juin 2005
    Messages:
    59
    J'aime reçus:
    0
    Merci pour ta réponse.

    Je vais donc attendre...et voir.

    J'en ai un peu car un produit à plusieurs contances possibles passé en argument, ce qui fait des pages avec des url différentes en plus alors que le contenu est quasi le même... je ne pense pas que ce soit un frein ? Google choisit une page sur les 2 ou 3 quasi similaires?
     
  25. miamiam
    miamiam WRInaute discret
    Inscrit:
    5 Février 2005
    Messages:
    180
    J'aime reçus:
    0
    je pense que tu as raison car j'avais un site avec un forum indexé par google au debut, puis dernierement il a été completement desindexé, plus aucune page concernant le forum.......
     
  26. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    2 141
    J'aime reçus:
    0
    C'est également ce qui est arrivé à un de mes site qui etait constitué exclusivement d'un forum. D'abord indexé puis progressivement tout est sorti de l'index.
    Aujourd'hui, j'ajoute du contenu autour du forum, j'ai mis un joli petit sitemap et je vais voir ce que ça donne. Mon sitemap a ete telechargé rapidement. googlebot est venu rapidement sur mon index, alors qu'il me boudait depuis plus d'un mois, mais je constate qu'il ne va pas plus loin que l'index !