[RESOLU] Erreur Google : Impossible d'atteindre robots.txt

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par cnhx, 26 Octobre 2008.

  1. cnhx

    cnhx WRInaute discret

    Inscrit:
    27 Avril 2008
    Messages:
    85
    J'aime reçus:
    0
    Bonjour,

    Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien.

    Et là depuis une semaine GG n'indexe plus mon site :evil:
    En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant :

    J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur
    Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log :
    Code:
    74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
    207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org"
    38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)"
    64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support@blogpulse.com)"
    174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots"
    67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
    209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)"
    J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre :?:
    Et depuis cet incident Google a stoppé l'indexation de mon site... :cry:

    Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire...

    Le fichier robots.txt :
    http://www.ville-arnieressuriton.com/robots.txt

    Le fichier sitemap.xml :
    http://www.ville-arnieressuriton.com/sitemap.xml

    Merci de votre aide.
     
  2. jeanluc

    jeanluc WRInaute accro

    Inscrit:
    3 Mai 2004
    Messages:
    3 285
    J'aime reçus:
    0
    As-tu vérifié l'accès à ton robots.txt en passant par "Outils" > "Analyser le fichier robots.txt" ? A tout momement, tu peux faire retester immédiatement l'accès au fichier. Sinon, je ne vois pas. Tout me semble en ordre.

    Jean-Luc
     
  3. mahdivitche

    mahdivitche WRInaute impliqué

    Inscrit:
    6 Janvier 2008
    Messages:
    957
    J'aime reçus:
    0
  4. jeanluc

    jeanluc WRInaute accro

    Inscrit:
    3 Mai 2004
    Messages:
    3 285
    J'aime reçus:
    0
    Mais non ! Cela n'a aucun rapport. :roll:

    Jean-Luc
     
  5. cnhx

    cnhx WRInaute discret

    Inscrit:
    27 Avril 2008
    Messages:
    85
    J'aime reçus:
    0
    @mahdivitche
    jeanluc à raison.

    La ligne Disallow: /forum/faq.php, indique au Bots de ne pas indexer le fichier /forum/faq.php

    La ligne Sitemap: http://www.ville-arnieressuriton.com/sitemap.xml indique le nom du fichier sitemap a explorer par les Bots.
     
  6. cnhx

    cnhx WRInaute discret

    Inscrit:
    27 Avril 2008
    Messages:
    85
    J'aime reçus:
    0
    Pb résolu. :D

    Cela était une anomalie du mod security du serveur Apache chez mon hébergeur. :roll:
     
  7. rd79

    rd79 Nouveau WRInaute

    Inscrit:
    27 Mars 2013
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    Pouvez-vous m'indiquer quelle était l'anomalie mod security du serveur Apache dans votre situation ?
    Je sais le message est très ancien mais je ne parviens pas à trouver la solution à mon problème qui semble être le même que le vôtre à l'époque...

    Merci !