Robots txt : syntaxe non comprise par Google

Discussion dans 'Référencement Google' créé par nomasis, 20 Avril 2007.

  1. nomasis
    nomasis WRInaute discret
    Inscrit:
    22 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Bonjour à toutes et à tous

    Je viens de ré-ouvrir mon domaine après 2 ans d'absence.
    Je me préocupe bien sûr de son référencement et je rencontre des soucis semble t-il avec mon fichier robots.txt.

    Le voilà :
    Code:
    User-Agent: *
    Disallow: /OLDnomaero/
    Disallow: /scripts/
    Disallow: /img/
    Disallow: /depot/
    Dans la page consacrée "Outils pour les webmasters" Google me dit que la syntaxe (est) non comprise.

    Savez vous où je me suis planté ?

    Merci d'avance pour vos réponses.
     
  2. Koxin-L
    Koxin-L WRInaute passionné
    Inscrit:
    29 Mars 2007
    Messages:
    1 532
    J'aime reçus:
    1
    Essaye comme ça ;-)
    Code:
    User-Agent: *
    Disallow: /OLDnomaero
    Disallow: /scripts
    Disallow: /img
    Disallow: /depot
     
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Ton robots.txt est parfait.

    En enlevant les "/" à la fin des lignes, tu changes la signification de ces lignes. Ce n'est pas la cause du problème.

    C'est probablement un bug de l'outil de test de robots.txt de Google. Ce n'est pas le seul.

    Cela ne veut pas dire que Googlebot ne comprend pas correctement ton robots.txt. Constates-tu que Googlebot crawle des pages interdites ?

    Jean-Luc
     
  4. nomasis
    nomasis WRInaute discret
    Inscrit:
    22 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Merci à vous deux pour vos réponses.

    Pour répondre à jeanluc : non je n'ai pas constaté de crawling des pages interdites.
    Je m'inquiétais des résultats que me renvoyait Google quand je lui demandais d'analyser celui-ci.

    Je trouve d'ailleurs très décevant les outils pour Webmasters de Google (dont Google analytics).
    Sans faire d'injures non plus à à l'équipe française de cette compagnie je considère qu'il y a un manque cruel de professionalisme, voire un penchant à se "péter les bretelles" de bosser chez Google.

    Pour moi cette condescendance vis à vis du "client" est le signe d'une compagnie trop sûre d'elle qui risque de se planter.
    Mais bon, c'est un autre débat.

    Merci encore une fois de vos réponses.
    Sur ce, je vous souhaite un très très bon weekend.

    Cordialement,
    Philippe
     
  5. frangolacci
    frangolacci WRInaute occasionnel
    Inscrit:
    26 Février 2006
    Messages:
    360
    J'aime reçus:
    0
    Ah bon ? , moi je les utilisent les "outils google pour webmasters", par exemple on connaitre un grand nombre de ses liens référents (plus qu'avec yahoo site explorer... et bien plus qu'avec la fonction link "défaillante" de google).
    Les statistiques liées aux requêtes, aux anchor ainsi qu'à l'analyse des pages... c'est quand même le meilleur moyen de savoir comment google "voit" notre site.
    ... bon, ya quelques bugs, c'est vrai. Par exemple chaque moi, ma "Page de votre site avec le meilleur classement PageRank" est une page différente :roll: ... pourtant ça doit pas être le truc le plus dur à déterminer :wink:
     
  6. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Essaye en terminant ton fichier par une ligne vide (un CR, quoi...), pour voir.
     
  7. nomasis
    nomasis WRInaute discret
    Inscrit:
    22 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    merci HawkEye
    ça a l'air de fonctionner maintenant

    @ frangolacci
    si je compare les statistiques de mon hébergeur (1and1) et celles de Google Analytics il n'y a pas photo :
    le traffic estimé par Google est de 85 % inférieur à celui de 1and1.

    En outre il faut 24 heures pour attendre les nouvelles stats.

    Testant d'autres outils comme Getclicky je m'aperçois qu'un service immédiat et plus abouti est possible.

    Quelle est l'idée de Google ? J'avoue ne pas comprendre.
    Ne pas faire de l'ombre aux autres services ? Certainement.
    Mais dans ce cas Google Analytics ne sert de que de faire valoir.

    Et au final pour Google c'est contre-productif.

    Sur ce, je vais voter.

    Bon dimanche à tous.
     
  8. nomasis
    nomasis WRInaute discret
    Inscrit:
    22 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Hello
    je reprends ce post...
    quand je disais
    je crois comprendre pourquoi (mais je me trompe peut être) : je suis visité par de très nombreux robots.
    Sans doute Google les exclue du comptage ce qui n'est peut pas le cas de 1and1..

    Et pour le reste, Google Analytics dans sa nouvelle version atteint un sommet de simplicité et d'efficacité.

    Bien à vous,
    Philippe
    note à moi-même : il faudrait que tu viennes plus souvent ici car c'est vraiment bien.
     
Chargement...
Similar Threads - Robots syntaxe comprise Forum Date
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Cette syntaxe de robots.txt est-elle correcte ? Administration d'un site Web 8 Avril 2013
Syntaxe robots.txt Crawl et indexation Google, sitemaps 29 Août 2008
Syntaxe de la meta name robots Référencement Google 12 Juillet 2007
Syntaxe robots.txt -- fichier finissant par Référencement Google 28 Avril 2007
Syntaxe robots.txt Crawl et indexation Google, sitemaps 29 Mai 2006
Fichier robots.txt ma syntaxe est-elle correcte ? Référencement Google 19 Septembre 2003
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020