Google Image ne respecte pas mon robots.txt

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par christophebe, 11 Juillet 2006.

  1. christophebe
    christophebe WRInaute occasionnel
    Inscrit:
    24 Novembre 2003
    Messages:
    308
    J'aime reçus:
    0
    Salut,

    Je viens de constater que depuis la dernière mise à jour de Google Images j'ai des images d'un site qui sont présentes dans l'index.

    J'ai un robots.txt qui contient :

    User-agent: *
    Disallow: /images/
    Disallow: /img-aff/
    Disallow:
    User-agent: Yahoo-MMCrawler
    Disallow: /
    User-agent: psbotDisallow:
    Disallow: /
    User-Agent: Googlebot-Image
    Disallow: /

    Toutes les images en question sont dans le dossier "images" que j'interdit à tous les robots et en plus j'ai mis " User-Agent: Googlebot-Image
    Disallow: / " spécifiquement pour Googlebot-Image.

    Mon fichier robots.txt est présent depuis le lancement du site.

    Le panneau de gestion de Google sitemap indique bien que Googlebot-Image est Bloquée par ligne 10.

    J'ai fait une erreur quelque part ??

    Merci.
     
  2. christophebe
    christophebe WRInaute occasionnel
    Inscrit:
    24 Novembre 2003
    Messages:
    308
    J'aime reçus:
    0
    Je m'auto-corrige.

    J'ai utilisé la procédure pour supprimer du contenu de Google et il semble qu'il n'aime pas la quatrième ligne de mon robots.txt (qui est d'ailleurs inutile)

    Toutefois je ne pense pas que le problème vienne de là car j'ai cette "erreur" sur tous mes sites et les autres n'ont pas d'images indexées.

    PS : Google a rajouté des fonctions pour la suppression d'images (https://www.google.be/support/webmasters ... swer=35308) j'ai donc ajouté ceci à mes robots.txt :

    User-agent: *
    Disallow: /*.gif$
    User-agent: *
    Disallow: /*.jpg$
     
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Oui ! :wink:

    Il y a plusieurs erreurs dans tes robots.txt :

    - un user-agent déterminé ne devrait apparaître qu'une seule fois et être directement suivi par les Disallow: qui le concernent.

    - User-agent: et Disallow: ne peuvent pas se trouver sur la même ligne.

    - il est obligatoire de mettre une ligne vide entre des séries de directives successives concernant des user-agents différents.

    - les directives concernant un user-agent ne peuvent pas se contredire.
    Disallow: /machin, suivi de Disallow: n'est pas acceptable.

    Le robots.txt de ton premier message devrait être comme ceci :
    Code:
    User-agent: * 
    Disallow: /images/ 
    Disallow: /img-aff/ 
    
    User-agent: Yahoo-MMCrawler 
    Disallow: / 
    
    User-agent: psbot
    Disallow: / 
    
    User-Agent: Googlebot-Image 
    Disallow: /
    Jean-Luc

    P.S. le support des "*" et "$" par Google n'est pas conforme à la norme robots.txt. Il vaudrait mieux en limiter l'utilisation aux directives destinées uniquement aux robots de Google.
     
  4. christophebe
    christophebe WRInaute occasionnel
    Inscrit:
    24 Novembre 2003
    Messages:
    308
    J'aime reçus:
    0
    Merci pour les infos.

    J'ai les yeux dessus et je n'avais même pas vu que j'avais inventé un nouveau crawler psbotDisallow: !!

    Pour les nouvelles directives de Google tu as certainement raison mieux vaut les limiter à son crawler.

    Ceci est-il bon ?

    User-Agent: Googlebot-Image
    Disallow: /
    Disallow: /*.gif$
    Disallow: /*.jpg$

    Je sais que cela fait double (ou triple) emploi mais bon mieux vaut prévenir que guérir...
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    C'est bon. Si Googlebot-Image ne comprend pas qu'il n'est pas le bienvenu après ça, je ne sais pas ce qu'il faut faire ! :lol:

    Jean-Luc
     
  6. christophebe
    christophebe WRInaute occasionnel
    Inscrit:
    24 Novembre 2003
    Messages:
    308
    J'aime reçus:
    0
    Effectivement.

    Merci pour les tips !
     
Chargement...
Similar Threads - Google Image respecte Forum Date
Position Google image vs Google différente Référencement Google 21 Septembre 2022
Trafic de google image Google Analytics 19 Septembre 2022
Recherche Google images : mes photos disparaîssent Référencement Google 25 Août 2022
Google Images: URL à la place du titre dans les résultats de recherche YouTube, Google Images et Google Maps 4 Mars 2021
Google image, img correspond pas au titre YouTube, Google Images et Google Maps 29 Janvier 2021
Google Image, url des fichiers et traduction YouTube, Google Images et Google Maps 4 Juin 2020
Insérer 1 image google dans une page Développement d'un site Web ou d'une appli mobile 26 Avril 2020
En test : affichage des informations de licence dans Google Images YouTube, Google Images et Google Maps 28 Février 2020
Mes images dans les SERPS de google en haut à droite Crawl et indexation Google, sitemaps 16 Février 2020
Images utilisées par Google pour illustrer résultat Référencement Google 30 Janvier 2020
Google image et visite sur son site YouTube, Google Images et Google Maps 2 Janvier 2020
Supprimer les données Google image de son rapport Search Console Référencement Google 3 Octobre 2019
GOOGLE ne reconnait pas cette url (image) YouTube, Google Images et Google Maps 11 Septembre 2019
L'intégralité de mes images ont disparu de Google Image Pourquoi ? Problèmes de référencement spécifiques à vos sites 31 Mars 2019
Position zéro Google avec 2 sites (texte et image) Débuter en référencement 9 Mars 2019
Optimisation des images dans Google PageSpeed Insights YouTube, Google Images et Google Maps 24 Janvier 2019
Référencement Google des images hébergées sur CDN Référencement Google 7 Novembre 2018
Désindexation images par Google Crawl et indexation Google, sitemaps 4 Octobre 2018
Google Images : Nouveau design (2018) YouTube, Google Images et Google Maps 28 Septembre 2018
Ordre d'apparition dans google images YouTube, Google Images et Google Maps 23 Août 2018