Crawl Site Web impossible avec n'importe quel outil

Discussion dans 'Crawl et indexation Google, sitemaps' créé par cedille, 29 Janvier 2015.

Tags:
  1. cedille
    cedille Nouveau WRInaute
    Inscrit:
    29 Janvier 2015
    Messages:
    3
    J'aime reçus:
    0
    Bonjour,

    Après quelques recherches et vérifications, je me tourne vers vous afin de trouver une réponse à ma question.

    Voici le problème :

    Un site sur lequel j'ai repris la main en SEO a interdit, via le fichier robots.txt, l'indexation par les moteurs de recherche.
    Depuis quelques jours, ce même fichier n'interdit plus l'indexation.

    Je souhaitais effectuer une petite analyse du site via Screaming Frog SEO et j'obtiens ce message : "Connection refused".
    J'ai tenté avec Semrush et j'obtiens ce message : "No data available".
    Il en est de même avec d'autres outils.

    Je souhaiterai comprendre pourquoi j'obtiens ces messages.

    Merci d'avance pour votre aide.
     
    #1 cedille, 29 Janvier 2015
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    792
    J'aime reçus:
    0
    bloquage au niveau du fichier .htaccess, ou plus haut, chez l'hébergeur et son firewall.
     
    #2 loubet, 29 Janvier 2015
  3. cedille
    cedille Nouveau WRInaute
    Inscrit:
    29 Janvier 2015
    Messages:
    3
    J'aime reçus:
    0
    Merci Loubet pour cette réponse.

    Quel peut être le facteur bloquant au niveau du fichier .htaccess ?
     
    #3 cedille, 29 Janvier 2015
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    Le plus simple serait de nous communiquer l'url, sans plus d'information on ne peut que conjecturer.
     
    #4 UsagiYojimbo, 29 Janvier 2015
  5. cedille
    cedille Nouveau WRInaute
    Inscrit:
    29 Janvier 2015
    Messages:
    3
    J'aime reçus:
    0
    Malheureusement, et je comprends tout à fait, je ne peux communiquer l'URL s'agissant d'un client.
     
    #5 cedille, 29 Janvier 2015
  6. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 890
    J'aime reçus:
    75
    En MP ?
     
    #6 UsagiYojimbo, 29 Janvier 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl Web impossible Forum Date
Crawl de page par Google Bot via une recherche web Crawl et indexation Google, sitemaps 5 Août 2015
Les ressources bloquées au crawl de Google [rubrique Webmaster Tools] Référencement Google 11 Mars 2015
Logiciel analyse backlinks => ils crawlent le web Netlinking, backlinks, liens et redirections 15 Avril 2014
Robots.txt, webmaster tool google, crawl Crawl et indexation Google, sitemaps 9 Avril 2010
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020