Robots.txt

[ajja93]

Bonjour,
(Ne sachant pas trop où placer cette demande, ce forum est probablement le plus logique)

Je croyais que commencer son robots.txt par la ligne "User-agent: *" signifiait très clairement : "ce qui suit est valable pour TOUS les robots" !
Or, je constate (depuis longtemps, plus de 2 ans) que Googlebot-Image ne semble pas respecter ce "*" ...

En effet, des images (que je ne souhaite pas retrouver dans ... Google Images par exemple) sont rangées dans un dossier nommé "Images" (original, non ? :lol: ) et bien sûr mon robots.txt comprend la ligne :
Disallow: /Images/

Or, certaines de ces images - intégrées par le chemin http://nomdomaine/Images/ dans des pages qui sont, elles, accessibles aux robots - sont pourtant bel et bien référencées dans Google Images, certaines depuis longtemps !!!!!!!

Google est sybillin dans son aide, et ne précise pas que Googlebot-Image "serait" différent des autres robots à ce sujet !
Qu'en pensez-vous ?

 

[ualvarez]

Salut ajja93

Tout d'abord félicitations pour ton site et tes photos qui me semblent très sympa.

En effet, le bot de googleimage devrait lire et interpréter le fichier robots.txt comme n'importe quel autre bot.

Je suis allé sur google image et j'ai recherché toutes les images de ton site qui sont référencées :
voir
Parmis les images référencées, je n'en trouve aucune qui soit stockée dans un dossier interdit dans ton robots.txt ...

Peut-tu me donner un exemple d'image qui est référencée et qui ne devrait pas l'être?

 

[ajja93]

Bonjour ualvarez, et merci beaucoup pour tes compliments et aussi bien sûr pour ton intérêt.
J'avais oublié de préciser que j'avais trouvé ces images en interrogeant par mots-clés, pas par l'url du site. Je me souviens qu'il y avait par exemple l'image-logo de la page d'accueil (la "statue" en bois 3D).
Là où je passe pour un gros naze , c'est ... que je me souviens plus des mots que j'avais tapés. Je viens d'essayer "amour", "tendresse", "féminin", c'est pas ça :cry:
Je vais rechercher ailleurs (je ne retrouve pas avec le cache), et je te dis.

J'en profite d'ailleurs pour te (ou d'autres) poser deux questions supplémentaires.

1) Puis-je écrire (est-ce techniquement correct ?), par exemple :
User-agent: *
Disallow: /Images/
etc.
etc.
User-agent: Googlebot-Image
Disallow: /machin/
Disallow: /truc/
etc.

si je veux que les robots autres que Googlebot-Image puissent aller sur les dossiers "machin" et "truc" ???

2) Je trouve par contre que Googlebot-Image indique très peu de photos "autorisées" (37) par rapport à la réalité (+ de 200 je crois).
Comment puis-je faire pour l'inciter à un peu plus de gourmandise ? D'après ce que je constate, il se contente de taper un peu au hasard quelques photos dans toutes les galeries ...

 

[Madrileño]

Les URL réservées comme exemple sont http://www.example.com/ , "example.net", ou "example.org". Suivre le lien donné par cette page pour avoir des explications.

si je veux que les robots autres que Googlebot-Image puissent aller sur les dossiers "machin" et "truc" ???

Je trouve par contre que Googlebot-Image indique très peu de photos "autorisées"

- Mettre le nom du bot qui ne va pas crawler l'endroit seulement.
- C'est normal

 

[ajja93]

heuuuuu, j'ai pas bien compris, Madrileño

 

[Madrileño]

Chaque - est la réponse aux questions d'avant :lol:

 

[ajja93]

heuuuuu, tu n'as pas bien compris mon incompréhension, Madrileño.
1) la citation est une citation de qui, à quoi - ou à qui - répond-elle, que signifie t-elle, et quel lien de quelle page dois-je suivre ???
2) ta 1ère réponse est en quelle langue civilisée ? Tu peux me répondre en français, anglais, allemand, italien, et je comprend aussi un peu le russe.
3) ta 2ème réponse est-elle de l'humour ?

 

[Madrileño]

1) Puis-je écrire (est-ce techniquement correct ?), par exemple :
User-agent: *
Disallow: /Images/
etc.
etc.
User-agent: Googlebot-Image
Disallow: /machin/
Disallow: /truc/
etc.

si je veux que les robots autres que Googlebot-Image puissent aller sur les dossiers "machin" et "truc" ???

2) Je trouve par contre que Googlebot-Image indique très peu de photos "autorisées" (37) par rapport à la réalité (+ de 200 je crois).
Comment puis-je faire pour l'inciter à un peu plus de gourmandise ?

-> Pour le example c'est une url type pour les exemples
-> Pour que les bots visitent un dossier sauf google images :
User-agent: Googlebot-Image
Disallow: /le-dossier-inutile-pour-lui/
-> Bien remplir les alts et suivant le contenu de la page le bot va penser à la pertinence ( et il faut penser qu'il n'y a que 1 milliards d'images indexés face à 10 milliards de sites :wink:

 

[ajja93]

Je te remercie de ton aide, et principalement :

Bien remplir les alts et suivant le contenu de la page le bot va penser à la pertinence ( et il faut penser qu'il n'y a que 1 milliards d'images indexés face à 10 milliards de sites :wink:

Je baisse donc les bras, je me vois mal remplir les alt de toutes les photos de mon site de ... photographe, et d'autant plus que la pertinence, sur une page composée UNIQUEMENT d'une photo, ça vaut pas tripette (une galerie, c'est 500 pages composées chacune d'une photo, en fait !) !

Google, comme la plupart des moteurs, s'en sort à peu près bien dans les sites commerciaux (beaucoup de texte, de liens, de trucs et de machins divers qui lui plaisent), mais comme tout robot l'art le laisse indifférent : il te met PR 9 à Caco-Calo ou à Mac'Mickey, et PR 2 à Michel Ange !
Bof !

 

[Madrileño]

Je baisse donc les bras, je me vois mal remplir les alt de toutes les photos de mon site de ... photographe, et d'autant plus que la pertinence, sur une page composée UNIQUEMENT d'une photo, ça vaut pas tripette (une galerie, c'est 500 pages composées chacune d'une photo, en fait !) !

Google, comme la plupart des moteurs, s'en sort à peu près bien dans les sites commerciaux (beaucoup de texte, de liens, de trucs et de machins divers qui lui plaisent), mais comme tout robot l'art le laisse indifférent : il te met PR 9 à Caco-Calo ou à Mac'Mickey, et PR 2 à Michel Ange !
Bof !

-> C'est aussi un confort pour le visiteurs certaines fois ... Enfin après c'est du temps c'est vrai
-> Ce n'est pas si simple que cela mais les grands sites n'ont pas forcément de contenu mais des liens et comme c'est très cibler sur leurs noms pas trop de difficultés à priori :|

 

[ajja93]

Je remplis les alt des images cliquables (le menu, par exemple), et des images participants - avec ou sans lien - à la "décoration" des pages hors-galeries.
Mais les photos des galeries, ce n'est pas seulement du temps, c'est surtout une grosse galère : si certaines sont faciles à titrer, beaucoup ne le sont pas OU/ET sont nombreuses à avoir une "définition" identique.

Par exemple, comment veux-tu titrer de façon différente 50 portraits de 50 femmes brunes qui regardent chacune l'objectif et sourient ????
Même le prénom (si je pouvais l'indiquer) : il y a au moins 3 Christine et 2 Emmanuelle :lol:

 

[Madrileño]

Faut se débrouiller :lol: