[PB Indexation] Robots.txt et sitemap.xml

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Matt3738, 5 Février 2014.

Tags:
  1. Matt3738
    Matt3738 Nouveau WRInaute
    Inscrit:
    5 Février 2014
    Messages:
    3
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai donc mis en ligne un nouveau site la semaine dernière. http://pandadub.fr/

    Problème classique, lorsque j'envoie mon sitemap.xml à google, j'obtiens cette erreur :
    Le sitemap contient des URL qui sont bloquées par le fichier robots.txt

    Et ce pour l'intégralité de mes pages (18 pages)

    Pourtant, mon robots.txt semble OK.

    URL robots.txt : http://pandadub.fr/robots.txt
    URL sitemap : http://pandadub.fr/sitemap.xml

    Si quelqu'un peut regarder mes fichiers et m'éclairer.... ce serait très sympa.

    Merci beaucoup

    Bonne journée,

    matt
     
    #1 Matt3738, 5 Février 2014
  2. webac
    webac WRInaute occasionnel
    Inscrit:
    4 Mars 2005
    Messages:
    385
    J'aime reçus:
    0
    #2 webac, 5 Février 2014
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 726
    J'aime reçus:
    779
    Bienvenue sur WRI !

    refais ton robots.txt qui contient plein de lignes en trop : "allow" ne fait pas partie du standard initial, ça ne sert à rien de les mettre. A moins que tu aies confondu avec disallow ?

    ensuite, déclare ton sitemap dans GWT et pas dans le robots.txt

    si besoin, lis mon tuto sur le sitemap XML
     
    #3 WebRankInfo, 5 Février 2014
  4. Matt3738
    Matt3738 Nouveau WRInaute
    Inscrit:
    5 Février 2014
    Messages:
    3
    J'aime reçus:
    0
    Merci pour vos réponses,

    En fait, à la base, mon robots.txt était tout simple

    Et google refusait mon sitemaps

    C'est pourquoi j'ai rajouté les ligne Allow, car Google me disait que mon sitemap était bloqué par robots.txt

    Suite à mes lignes Allow, Google a accepté mon sitemap mais m'indique que toutes mes pages sont bloquées par mon robots.txt
     
    #4 Matt3738, 5 Février 2014
  5. Matt3738
    Matt3738 Nouveau WRInaute
    Inscrit:
    5 Février 2014
    Messages:
    3
    J'aime reçus:
    0
    En fait, ça vient peut être de là :

    "Googlebot n'a pas pu accéder à votre fichier robots.txt et a différé l'exploration de votre site plutôt que de risquer d'explorer des URL non autorisées."

    D'où cette erreur peut elle venir ?
     
    #5 Matt3738, 5 Février 2014
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - [PB Indexation] Robots Forum Date
[PB] Installation AdWords Editor Google : l'entreprise, les sites web, les services 20 Octobre 2010
[PBM] Dossier virtuel URL Rewriting et .htaccess 9 Mars 2009
[Pbm] Déréferencement en règle par Google Problèmes de référencement spécifiques à vos sites 25 Mars 2006
[Pbm] Changer le repertoire d'installation de Google Desktop Google : l'entreprise, les sites web, les services 24 Mai 2005
[PB] Installer de lecteur rss sur une même page. Administration d'un site Web 19 Janvier 2005
[Soucis indexation] Classement page indexée + désindexation + 404 Crawl et indexation Google, sitemaps 21 Juillet 2014
[indexation] barrière de l'inscription Débuter en référencement 22 Mars 2006
[désindexation] Les nouvelles pages chassent les anciennes Crawl et indexation Google, sitemaps 27 Août 2005
[double indexation] = URL Rewriting ??? Référencement Google 4 Novembre 2004
[Avis sur l'indexation] Qu'en pensez vous ? Problèmes de référencement spécifiques à vos sites 9 Février 2004