Slurp
Dans les dossiers :
Dans : Actualité - Par Olivier Duffez, le Jeudi 3 mai 2007
Jusqu'à présent il n'était pas vraiment possible d'empêcher les moteurs de recherche d'indexer une ou plusieurs parties d'une page web. On pouvait éventuellement se débrouiller pour générer une partie de la page avec du JavaScript, ce langage étant (pour l'instant) ignoré des moteurs. Yahoo introduit aujourd'hui la possibilité d'indiquer à son robot Slurp des zones de pages à ignorer, grâce à une classe CSS intitulée robots-nocontent.
Dans : Actualité - Par Olivier Duffez, le Jeudi 29 mars 2007
Le robot chargé de crawler le web pour l'indexation dans le moteur de recherche Yahoo était encore rattaché à Inktomi, racheté pourtant par Yahoo il y a plusieurs années. Son nom d'hôte sera désormais crawl.yahoo.net
Dans : Actualité - Par Olivier Duffez, le Lundi 5 mars 2007
Yahoo vient d'annoncer le support d'une nouvelle valeur pour la balise meta robots : « noydir » sert désormais à préciser qu'on ne veut pas que Yahoo utilise (dans les pages de résultats de son moteur de recherche) le titre du site tel qu'il est référencé dans l'annuaire de Yahoo. Explications…
Dans : Actualité - Par Olivier Duffez, le Samedi 4 novembre 2006
Yahoo vient d'annoncer que son robot allait désormais gérer les options avancées du fichier robots.txt qui permet aux webmasters d'indiquer quels fichiers ou répertoires doivent être exclus du crawl.
Dans : Actualité - Par Olivier Duffez, le Jeudi 18 mars 2004
Yahoo! ayant racheté plusieurs moteurs de recherche en 2003, vous pouvez voir dans vos logs les traces de plusieurs robots appartenant désormais à Yahoo!.
Lectures recommandées sur ce thème :
Contact
Confidentialité