Robots.txt, webmaster tool google, crawl

Discussion dans 'Crawl et indexation Google, sitemaps' créé par fersayn147, 9 Avril 2010.

  1. fersayn147
    fersayn147 Nouveau WRInaute
    Inscrit:
    9 Avril 2010
    Messages:
    29
    J'aime reçus:
    0
    Bonjour,

    J'ai un site qui fonctionne trés bien. + 20 000 vsites/jours.

    Cependant depuis un plantage de serveur et un redémarrage,il se passe la chose suivante:

    - lorsque je simule Analyser comme googlebot ma homepage, il me dit: soit Fichier robots.txt manquant, innacessible, Echec et il ne crawl plus le site ni les sitemap. Je n'ai pas touché à ce fichier qui fonctionnait trés bien il y a encore 15 jours.

    J'ai essayé de le retirer, de le remettre, de le regenerer via outils webmaster mais toujours les meme réponse. robots.txt est bien à la racine du site.
    Je ne comprends vraiment pas ce qui se passe !?

    Quelqu'un a une idée?
     
  2. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 593
    J'aime reçus:
    0
    Avec l'adresse du site ça aiderait...

    Si tu accèdes au robots.txt avec un browser, ça donne quoi?

    Jacques.
     
  3. fersayn147
    fersayn147 Nouveau WRInaute
    Inscrit:
    9 Avril 2010
    Messages:
    29
    J'aime reçus:
    0
    le fichier robots.txt est accessible par les navigateurs. C'est ça que je ne comprend pas.
     
  4. fersayn147
    fersayn147 Nouveau WRInaute
    Inscrit:
    9 Avril 2010
    Messages:
    29
    J'aime reçus:
    0
    Résolu . Merci
     
  5. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 593
    J'aime reçus:
    0
    Pour les autres qui pourraient avoir le même souci, c'était quoi le problème exact et/ou la solution?

    Jacques.
     
Chargement...
Similar Threads - Robots webmaster tool Forum Date
Urls bloquées sur webmaster tools àcause de robots.txt ? Crawl et indexation Google, sitemaps 11 Avril 2016
Conflit entre Webmaster Tools et Robots.txt Crawl et indexation Google, sitemaps 26 Mars 2012
Robots.txt : un Allow indiqué bloqué dans Webmaster Tools Développement d'un site Web ou d'une appli mobile 23 Juin 2010
Petit problème avec robots.txt et outil des webmasters Débuter en référencement 30 Juin 2014
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice