Crawling et DNS

Discussion dans 'Netlinking, backlinks, liens et redirections' créé par kalagan, 29 Mai 2008.

  1. kalagan
    kalagan Nouveau WRInaute
    Inscrit:
    21 Mai 2008
    Messages:
    40
    J'aime reçus:
    0
    Petite question sur les robots d'indexation :

    Lors d'un plantage DNS de 1 jour, mon site n'était plus accessible par URL (il l'était encore par IP). Le nombre de page indexé a pourtant augmenter pendant ce laps de temps.

    Pensez-vous que les robots d'indexation peuvent crawler un site si le serveur de nom est KO, tant que l'IP est accessible ?
     
  2. dorian53
    dorian53 WRInaute passionné
    Inscrit:
    10 Avril 2005
    Messages:
    1 886
    J'aime reçus:
    1
    Salut,

    Non je ne pense pas.
     
  3. FloBaoti
    FloBaoti WRInaute impliqué
    Inscrit:
    30 Avril 2006
    Messages:
    640
    J'aime reçus:
    0
    Si leurs serveurs DNS leur fournissait encore l'IP (cache), biensur qu'ils pouvaient continuer à visiter ton site.
    Pareil pour les visiteurs, si leurs serveurs DNS gardaient les informations en cache, ils voyaient ton site.
     
  4. dorian53
    dorian53 WRInaute passionné
    Inscrit:
    10 Avril 2005
    Messages:
    1 886
    J'aime reçus:
    1
    Je ne pense pas que c'est une question de connaitre l'IP ou pas puisque je suis persuadé que c'est stocké chez Google.

    C'est juste qu'il n'indexe pas un site à partir d'une IP surtout si le DNS ne répond pas car :

    • - c'est peut-être voulu de la part du site,
      - c'est peut-être la fin du site,
      - il faut reconstruire les liens relatifs,
      - etc.

    Ce ne sont que des hypothèses de ma vision des choses.
     
  5. FloBaoti
    FloBaoti WRInaute impliqué
    Inscrit:
    30 Avril 2006
    Messages:
    640
    J'aime reçus:
    0
    Euh... pour communiquer sur le protocole IP, ça se passe par les adresses IP. DNS n'est qu'un protocole applicatif par dessus.

    Donc je répète ce que j'ai dis, si les serveurs DNS du robot ont gardé en cache la correspondance DNS<->IP (et donc qu'il n'a pas suivi le blackout de ton serveur), les robots pourront continuer à se connecter à ton site.

    Bien évidemment, c'est vrai si le serveur DNS garde pas mal d'infos en cache. S'il respecte à la lettre les TTL et tout et tout, les robots se retrouvent dans les choux également.
     
  6. raljx
    raljx WRInaute passionné
    Inscrit:
    10 Juillet 2006
    Messages:
    2 022
    J'aime reçus:
    0
    et font remonter l'info à ses créateurs donc ca devrait poser pb.
     
Chargement...
Similar Threads - Crawling DNS Forum Date
Taux de crawling en chute Crawl et indexation Google, sitemaps 25 Mai 2019
Search Console Taux de crawling - Statistiques sur l'exploration Crawl et indexation Google, sitemaps 22 Mai 2019
Crawling et Angular/react/vuejs Crawl et indexation Google, sitemaps 2 Novembre 2017
Crawling en fonction des "User Agent" Crawl et indexation Google, sitemaps 20 Septembre 2015
Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google Crawl et indexation Google, sitemaps 12 Septembre 2015
AJAX crawling et redirection Crawl et indexation Google, sitemaps 13 Décembre 2013
Crawling des url sales Crawl et indexation Google, sitemaps 8 Novembre 2012
Crawling = repositionnement ? Débuter en référencement 15 Janvier 2012
Page d'accueil, redirect et crawling qui ne fonctionne pas Crawl et indexation Google, sitemaps 19 Avril 2011
[Aide réferencement] Crawling de google sur devenir-avocat.fr Problèmes de référencement spécifiques à vos sites 10 Mars 2010
Pas d'indexation d'une page alors que google a bien fait son crawling du domaine Problèmes de référencement spécifiques à vos sites 24 Novembre 2009
Robots.txt et crawling Crawl et indexation Google, sitemaps 16 Mars 2007
Effet du Crawling sur le trafic Débuter en référencement 28 Juin 2006
Crawling = ? Débuter en référencement 19 Juin 2006
Petite question sur crawling multilingue Référencement international (langues, pays) 10 Mai 2005
Crawling d'adresses d'hébergement et de noms de domaines / Problèmes de référencement spécifiques à vos sites 19 Septembre 2003
Grub - Looksmart crawling distribué Autres moteurs de recherche connus 4 Juin 2003
Adresse mail ne fonctionne plus après modif de DNS Noms de domaine et référencement Jeudi à 16:50
DNS et site auto-hébergé. Administration d'un site Web 27 Mars 2021
DNS du WWW et DNS du domaine principal. La bonne configuration Débuter en référencement 19 Décembre 2019