exclure des extensions précises

[zonemaster]

bonjour,

Si je veux exclure des extensions précises à une indexation dois-je faire comme ci-dessous :

Disallow: /*.css
Disallow: /*.wav

et ainsi de suite ???


merci !

 

[jeroen]

L'étoile (*) n'est acceptée que dans le champ User-agent.
Elle ne peut servir de joker (ou d'opérateur de troncature)

 

[zonemaster]

et si je fais juste enlever l'étoile ca fonctionnera ou pas ???

exemple :
Disallow: /.css

 

[jeroen]

non
va lire http://docs.abondance.com/robots.html

 

[zonemaster]

celui qui a pensé à faire le robots.txt aurait pu penser à qq chose^pour simplifier les exxclusions...

là on se retrouve avec toutes sortes de fichiers dans un annuaire qui n'apporte rien à personne

sinon faut faire un fichiers txt de 1 meg qui est sollicité au moins 100 fois par jours

la seule solution est de regrouper TOUS les fichiers impertinents à l'indexation dans UN ou plusieurs dossiers qui eux peuvent êtres disallow

encore du travail à défaire et refaire...
Jusqu'à ce qu'un autre vienne change la dogme encore une fois

:-(

 

[jeanluc]

Si je veux exclure des extensions précises à une indexation dois-je faire comme ci-dessous :

Disallow: /*.css
Disallow: /*.wav

et ainsi de suite ???

Bonjour zonemaster,

Soyons pratiques... :wink:

Il n'est pas utile d'exclure de l'indexation des fichiers qui, de toute façon, ne seront pas indexés. Je ne connais aucun moteur de recherche généraliste qui indexe les fichiers .css, ni les .wav.

Si tu penses à un moteur particulier spécialisé, tu peux toujours lui interdire tout accès à ton site.

Jean-Luc

 

[zonemaster]

je suis tout autant proatico paratique que possible cher ami...

mon problème est bien réel et il s'agit de Yahoo !!!

je ne peux quand même pas barré yahoo dans mon indexation...

et pourtant il indexe mes .css, mon .ico et pleins de pages où le meta dit NOINDEX

heye heye c'est quoi le problème avec yahoo pourauoi il fait cela ???

je ne fabule pas, c'est la réalité et je cherche des solutions permanentes...

un joker dans le robots.txt aurait été parfait pour ce genre de situation...

malheureusement cela n'a pas été pensé !

 

[jeanluc]

Tu as raison. Etonnant ce qu'il fait ce Yahoo! en publiant des liens directs vers des vidéos. C'est conforme aux lois sur les droits d'auteur, ça ?

Revenons à la pratique. Si tu veux que les liens, présents dans une page HTML, ne soient pas indexés, c'est NOFOLLOW qu'il faut utiliser et pas NOINDEX. Si ça ne suffit pas, avec .htaccess, tu pourrais empêcher Slurp (le robot de Yahoo) d'accéder à tes fichiers .wav.

Jean-Luc

 

[zonemaster]

humm...
à ce que je vois, les fameux "droits d'auteur" ne sont pas respectés à grande force sur le web... un bon paquet se pense invisible et pas retraçable...

Mais là n'est point mon problème, je souhaite éliminé des index tel yahoo tout les fichiers avec les extensions qui ne sont pas du php puisque je travail en php et que les pages en php en inclusion ne soiit pas indexé ni celle avec NOINDEX, NOFOLLOW (oui, oui, j'ai toujours les 2 balises qui sont en combo)

à noter que le problème n'a pas été noté ailleurs que avec Yahoo...
J'ai aussi noté d'autres irrégularités avec Yahoo et j'ai même envoyé un message à Yahoo pour avoir comme réponse que tout se fait automatique et blabla... finalement le propriétaire du site à l'occurence moi-même on s'en fou éperduement...

J,ai ré-écris pas mal de code pour contrer certaines aberrations mais je ne peux pas tout faire avec php et .htaccess mon hébergeur me limite dans les possibilités dont entre autres AUCUN rewriting...

Quels solutions restent-ils ???

 

[zonemaster]

une précision...

Yahoo semble ne pas se préoccuper que'il y ai un lien vers qq chose ou pas...

J,ai vue + d'une fois des choses indexés d'où AUCUN lien ne pointait vers...

C'est comme si il parcourait les dossiers et sous-dossiers et qu'il prenait ce qui fait son affaire... comme un aspirateur de sites...

 

[jeanluc]

Des choses indexées vers lesquelles ne pointe aucun lien ? Là, je ne te suis pas.

Yahoo ne peut pas deviner les noms de tes fichiers images, donc il y a un lien quelque part, c'est sûr. Si Yahoo lit tes répertoires, c'est qu'ils sont lisibles pour tout le monde sur le web.

Jean-Luc

P.S. idem pour les aspirateurs de site, d'ailleurs.

 

[Grantome]

celui qui a pensé à faire le robots.txt aurait pu penser à qq chose^pour simplifier les exxclusions...

C'est toujours ce que l'on dit de quelqu'un qui a un bonne idée...
Il aurait du faire autrement...
Bah falait le faire avant.