Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par lebonbuzz, 16 Décembre 2013.

  1. lebonbuzz
    lebonbuzz Nouveau WRInaute
    Inscrit:
    13 Octobre 2011
    Messages:
    4
    J'aime reçus:
    0
    Bonjour à tous.

    J'ai eu le bonheur de me faire hacker il y a quelques jours, mon fichier robots avait un beau disallow all. Depuis mon fichier robots.txt est mal interprété par GWT !

    Mon fichier robots que j'ai pris directement sur wp-referencement : http://www.tohom.fr/robots.txt

    Les répertoires importants sont bloqués.

    Pourtant dans GWT, si je veux explorer comme google sur n'importe quelle page de mon site, j'obtiens la réponse : Refusée par le fichier robots.txt
    SI j'essaye avec Bing : Statut: Représentation de la tentative de téléchargement non effectuée due à un problème de courtoisie.

    Alors, que puis-je faire ? Un script a peut-être été placé sur mon serveur virtuel mais où ? Un conseil pour me driver ?

    Merci d'avance
     
  2. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 891
    J'aime reçus:
    8
    Tu as testé avec un fichier robots vierge ?
     
  3. lebonbuzz
    lebonbuzz Nouveau WRInaute
    Inscrit:
    13 Octobre 2011
    Messages:
    4
    J'aime reçus:
    0
    Oui mais rien à faire, peu importe le contenu de mon fichier robots.txt sur le ftp, j'aurai toujours ça :

    http://www.hostingpics.net/viewer.php?id=687782robots.png

    User-Agent DISALLOW

    Merci pour ton aide.
     
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 028
    J'aime reçus:
    291
    Tu utilises cloudflare, par hasard, c'est pas un des CDN qui renvois pas la même chose ?
     
  5. lebonbuzz
    lebonbuzz Nouveau WRInaute
    Inscrit:
    13 Octobre 2011
    Messages:
    4
    J'aime reçus:
    0
    Bonjour Spout,

    C'est une possibilité, du coup, j'ai vidé le cache Cloudflare, c'est une possibilité mais pour pouvoir en être sûr, je vais devoir attendre jusqu'à 48 heures...

    Google précise :
    Impossible d'explorer la page pour le moment, car celle-ci est bloquée par la dernière version du fichier robots.txt téléchargé par Googlebot. Sachez que si vous avez mis à jour le fichier robots.txt dernièrement, son actualisation peut prendre jusqu'à deux jours.

    La dernière version téléchargée par Google date du 14 décembre. Par contre, quand je teste une url avec le fichier robots pas de problème.

    Que dois-je faire? Attendre ?

    En tout cas, merci pour le coup de main
     
  6. lebonbuzz
    lebonbuzz Nouveau WRInaute
    Inscrit:
    13 Octobre 2011
    Messages:
    4
    J'aime reçus:
    0
    Bonjour.

    Pour vous informer, j'ai désactiver le cache, google est venu crawler, le fichier robots.txt est désormais correct.

    Merci à vous !
     
  7. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 891
    J'aime reçus:
    8
    Le cache de quoi ? Du cloud ?
    C'est un peu le but de réinitialiser le cache quand on fait des modif, non ?
     
Chargement...
Similar Threads - Robots 100% disallow Forum Date
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice