Indexation d'un site après suppression d'un disallow?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par flyeric, 20 Juillet 2012.

  1. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    Bonjour à tous,

    je me trouve confronté à un petit problème (pour l'instant), car je viens peut-être de prendre une mauvaise habitude et je m'explique.

    j'avais lu il y a assez longtemps qu'il ne fallait pas mettre de page "en construction" pendant le développement d'un site.

    avant d'avoir lu ça, je ne touchait à rien dans la page affichée par ovh (puisqu'il s'agit d'ovh) mais je ne sais pas pourquoi, j'ai donc essayé un "disallow:/" afin donc, d'interdir le référencement d'une page "en construction" associée à mon site, ce qui à première vue semblerait logique.

    d'après mes propres constatations et pour mes sites dans lesquels je n'ajoutais pas de "disallow:/", entre le moment où je méttais le site en ligne et le moment où google l'indexait dans ses résultats, il s'écoulait en général 3 jours.
    j'ai lu aujourd'hui encore, sur divers sites (français, anglais) que le temps d'indexation d'un nouveau site (à partir du moment où il respecte les règles basiques du référencement) est de 1 à 5 jours.

    mon souci est que pour la première fois, j'en suis à 6 jours et mon site n'est toujours pas indexé par google.7
    on est bien d'accord, je ne parle pas d'être en 1000ième page, le site n'est pas du tout indexé, il n'erxiste pas.

    je précise que la directive "disallow:/" dans le robots.txt n'est restée qu'environ une semaine.
    dès que j'ai eu mis le site en ligne, j'ai supprimé le fichier robots.txt.

    est-ce que google quand il voit un "disallow:/" se dit:

    je vois un disallow, donc je reviens dans 15 jours.

    donc est-ce qu'après un disallow, google se donne un temps avant de recrawler ou trouvez-vous normal qu'après 6 jours je ne sois toujours pas indexé?

    merci à tous et merci pour votre savoir/retour d'expérience.

    bonne matinée!
     
  2. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 879
    J'aime reçus:
    6
    Bonjour,

    Tu as répondu...

    GG cherche des pages... il en trouve, il les indexe le plus rapidement possible, c'est sont fond de commerce.
    Lorsqu'il tombe sur un disallow, il ce dit :
    GG : "Pas la peine de dépenser de l'énergie à visiter les pages disallow... J'y reviendrais quand j'aurais le temps ou si on insiste pour que j'y ailles."

    Donc, comme toujours, on ne propose pas de pages en construction à GG, mais surtout, on ne met pas en ligne d'url de page en construction.
    Tout ce qui est "en construction" se doit d'être "Off Line".

    Rod
     
  3. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    Bonjour Rod et bonjour à tous,

    merci mille fois pour les précisions.

    je n'avais pas créé une page en construction, par défaut ovh lors de la souscription à un hébergement affiche une page "en construction". la page classique "en construction" ovh.
    d'ailleurs ovh fait-il une erreur alors en affichant une page en construction ou google sait que c'est une page ovh temporaire et qu'il devra revenir plus vite que lors d'un disallow?
    je n'avais donc pas créé une page spéciale, on est ok là dessus, j'ai simplement pendant une semaine rajouté la directive "disallow:/" que j'ai enlevée une fois le site en ligne. ça n'a donc duré qu'une semaine.

    alors 2 autres questions si vous le permettez:

    1) combien de temps attend-on en moyenne après suppression d'un disallow?

    2)
    prend-on un risque à insister? insister ça veut un peu dire "forcer" google pourrait-il ne pas aimer?

    merci à toi Rod et merci à tous.
     
  4. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    j'ai fait une erreur, j'ai amalgamé 2 sites, je m'explique.

    le site dont je parle avait bien un "disallow:/" depuis la mise en ligne.

    j'ai laissé le site en ligne avec le disallow pendant 2 semaines. je l'ai laissé comme ça car je n'avais pas fait le travail d'optimisation sur le code et n'avais pas encore choisi la cible de référencement.

    au bout de 15 jours, une fois tout ça fait, j'ai enlevé le fichier robots.txt et donc, par la même occasion autorisé l'indexage.

    et à partir de là, j'en reviens donc aux 2 questions posées juste au dessus sur le post précédent.

    pour finir, une dernière question (d'où mon amalgame), j'ai un nom de domaine "monSite.com" avec un hébergment sur ovh.
    la page d'accueil de "monSite.com" est donc comme d'habitude et comme évoqué plus "en construction", puisque c'estr la page naturelle créée par ovh tant qu'il n'y a pas de site dessus.
    j'ai donc, et durant une semaine, mis un "disallow:/" sur cette page que je viens de supprimer ce matin même.

    vu que le site n'est pas encore en ligne, vu que c'est toujours la page "en construction" ovh, google aura-t-il tenu compte de mon disallow ou n'en aura-t-il pas tenu compte du fait que se soit la page ovh?

    j'espère que j'ai été clair?

    encore merci à vous et je vous souhaite toujours une bonne matinée.
     
  5. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 024
    J'aime reçus:
    1
    Attention virer le fichier conduit a une 404 (qui peut avoir 1000 raisons) mettre un robots.txt vide est une démarche bien plus pertinentes si tu souhaite qu'un changement interne a ce fichier soit pris en compte. Dans la cas de la suppression le résultat du crawl de ce fichier ne permet pas de savoir si il a été modifié ou si il y a un souci avec ce fichier... :wink:

    Sinon je ne voie pas trop pourquoi tu te prend la tête avec cette histoire, une page ovh n'a quasiment aucune chance d'être indexée si elle n'a pas de liens donc gérer les moteurs a ce stade n'est pas forcement pertinent. Perso je ne fait rien et quand le site est prêt, je met en ligne. Si le domaine a été crawlé alors le changement est tout bénéfice pour toi si il ne l'a pas été ça change rien.

    Le mieux est souvent l'ennemi du bien.
     
  6. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    Bonjour Zeb,

    merci beaucoup pour les informations.

    ça semble rassurant.

    euh concerant le robots.txt quand tu dis vide, c'est complètement vide ou alors avec juste ça:

    User-agent:*

    et connais-tu le temp avant qu'un crawler repasse après un disallow?

    merci et bonne matinée.
     
  7. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 024
    J'aime reçus:
    1
    Vide de chez vide, même pas une ligne ou un octet de données. Si tu n'a rien a bloquer tu upload un truc sans rien dedans GG le lira n'y verra rien et traitera ton site comme si il avait les blancs ....
     
  8. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 024
    J'aime reçus:
    1
    Ping la home page avec pingomatic quand le site est OK le crawl est instantané ou presque, maintenant l'indexation et la position c'est plus tard et ça dépend de plein de facteurs.
     
  9. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    merci, merci beaucoup pour ces réponses rapides.

    je vais tout de suite vider complètement le robots.txt.

    pour finir, et merci de ta patience, le jour où j'ai supprimé le disallow, j'ai en même temps ajouté le code de suivi GA.
    j'ai donc vu dans les stats une ligne google organic.

    ce google organic veut dire que le site a été crawler.

    mais crawler pour des vérifications GA ou crawler pour l'indexation?

    parceque ça fait 6 jours et que normalement le site devrait être indexé, sauf si j'en reviens au problème qui est le sujet de mon post.

    merci à toi ainsi qu'à tous.
     
  10. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 024
    J'aime reçus:
    1
    Pour les deux, le crawl de vérification va immanquablement déclencher le crawl d'indexation après la prise en compte du robots.txt qui est très fréquente (GG le consulte presque tous les jours chez moi, en fait je suis crawlé a hauteur de 10000 pages par jour avec une IP précise a chaque fois et il lit le robots.txt pour voir si il y a du changement)

    Il faut que tu pense que les premiers crawls sont un peut particuliers car il doit analyser ton contenu pour le placer. langue du site, contenu relatif à, ... ça prend du temps. Plus le site est gros plus ça peut prendre du temps. attendre une semaine ou deux pour voir le site commencer a se positionner est normal. Savoir qu'un mois ou deux plus tard il va plonger est normal aussi (prime de fraicheur)

    Bref il ne faut pas s'affoler et bien observer les premiers retours (keywords détectés et placés) pour corriger le tir au fil du temps tout en construisant le plan SEO qui va suivre pour bien positionner / repositionner le site en fonction des premiers résultats (prend note de ce qui marche (keyword) pour ton site au début car c'est très révélateur de ce que google pense comprendre de ton site qui n'est pas forcement ce que tu a voulu lui faire comprendre).
     
  11. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    une fois de plus, merci Zeb.

    merci pour tes infos et conseils.

    le jour où j'ai lancé (il y a donc 6 jours) le site officiellement pour google, j'ai donc ajouté le code analytics et supprimé le robots.txt.
    ça fait 6 jours, et là on parle d'un minimaliste pour un resto, un site on ne peut plus simple de 4 pages. donc si je suis ton raisonnement et je vais récapituler précisémment:

    1) j'ai mis le site en ligne le 15 juin avec un "disallow:/" dans robots.txt

    2) le 14 juillet j'ai créé un compte GA, j'ai incorporé le code GA et ai supprimé le robots.txt

    3) le 15 juillet j'ai vu dans GA que google organic avait crawlé les 4 pages.

    4) le 20 juillet il n'y a toujours rien en terme d'indexation, je répète, ce n'est pas que je suis en page 100 ou 1000, google n'a pas indexé le site.

    5) le 20 juillet après tes conseil, j'ai remis robots.txt en l'ayant complètement vidé.


    est-ce que le point 5) va changer quelque chose, mais je m'étonne un peu de ne toujours pas être indexé, même en page 1000.

    est-ce normal?

    merci et bonne fin d'ap à tous.
     
  12. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 879
    J'aime reçus:
    6
    OVH, c'est de la merde Dsl, mais c'est mon avis sur 15 ans d'exp web. jamais vu une boite avec autant de soucis récurent et de foutage de gueule de ses clients en mutu...
    OVH colle des pages en construction sur tout hébergement prix, ça lui fait des BL et de la pub pour tout ndd associé à un hébergement qui n’est pas utilisé et à ceux qui sont en attente de site.

    De toute façon, on évite de prendre un hébergement associé au ndd lorsque le site n'est pas opérationnel, ça évite ce genre de pb.
    On prend un ndd et on ne lui adresse aucun dns. Ca règle les problèmes d'indexation de pages vide, en construction ou faisant la pub de l'hébergeur.

    alors 2 autres questions si vous le permettez:

    C'est la même chose que le temps de refroidissement du fut du canon de Fernand Raynaud
    Non, justement, il faut lui faire sauté son marqueur "page non accessible".
    Et pour cela, multiplier les portes d'entrées (BL).

    Rod
     
  13. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    Merci beaucoup Rod.

    explication claire pour les dns. bien vu d'ailleurs!

    et en dehors des backlinks, comment lui signale-t-on que le site est accéssible?

    merci à toi ainsi qu'à tous.
     
  14. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 024
    J'aime reçus:
    1
    le ping est une des méthodes possibles.

    la commande site:www.example.com ne te renvoie rien dans GG ? si oui tu n'est pas indexé si non c'est juste que tu n'est pas encore positionné.

    éventuellement si ce n'est pas secret tu peux donner ici l'url de ton site qu'on voie un peu de quoi il en retourne ou par mp si tu veux le garder confidentiel. De plus on pourra peut être te donner deux trois pistes pour trouver de bons BL histoire de lancer la machine.
     
  15. flyeric
    flyeric WRInaute discret
    Inscrit:
    4 Novembre 2009
    Messages:
    141
    J'aime reçus:
    0
    oui ça y est, c'est bon.

    la commande fonctionne.

    merci beaucoup et bonne soirée.
     
Chargement...
Similar Threads - Indexation après suppression Forum Date
Indexation figée après suppression de DC Crawl et indexation Google, sitemaps 13 Juillet 2010
Problème d'indexation : pages non indexées après 3 mois d'attente Crawl et indexation Google, sitemaps 12 Mars 2021
Indexation apres changement d'hebergeur Crawl et indexation Google, sitemaps 6 Janvier 2015
Désindexation de mon site après changement de nom de domaine Crawl et indexation Google, sitemaps 6 Avril 2014
Problème indexation après refonte et changement nom de domaine Crawl et indexation Google, sitemaps 3 Septembre 2012
Désindexation sur une requête spécifique après mise à jour intégrale du site Demandes d'avis et de conseils sur vos sites 29 Février 2012
Comment empêcher l'indexation de texte après un <a onclick=... Débuter en référencement 4 Novembre 2011
Perte totale d'indexation après optimisation Crawl et indexation Google, sitemaps 29 Juillet 2011
Indexation impossible après supression d'url via Outils pour les webamsters de GG Crawl et indexation Google, sitemaps 21 Mars 2011
Désindexation après erreur technique : besoin de réexamen ? Crawl et indexation Google, sitemaps 23 Février 2011
Desindexation de google apres avoir été bien positionné Crawl et indexation Google, sitemaps 29 Janvier 2011
Indexation après refonte contenu et URL Crawl et indexation Google, sitemaps 14 Octobre 2010
Probléme de rédirection aprés indexation ! Crawl et indexation Google, sitemaps 22 Août 2010
Problème d'indexation de mes pages (26 sur 176) après 3 mois Crawl et indexation Google, sitemaps 13 Août 2010
Ré-indexation sur Google après modification de page Crawl et indexation Google, sitemaps 11 Août 2010
Indexation impossible après retrait meta-robot noindex Problèmes de référencement spécifiques à vos sites 28 Juillet 2010
Google Actualités : Indexation bloquée après changement de mon avatar Crawl et indexation Google, sitemaps 30 Septembre 2009
Positionnement après indexation Crawl et indexation Google, sitemaps 19 Mai 2009
Désindexation auto après URL rewriting Crawl et indexation Google, sitemaps 12 Mai 2009
Indexation Google. Combien de temps après la mise en ligne du siteweb? Débuter en référencement 11 Mai 2009