Robots.txt : Yahoo supporte les options avancées
Yahoo vient d'annoncer que son robot allait désormais gérer les options avancées du fichier robots.txt qui permet aux webmasters d'indiquer quels fichiers ou répertoires doivent être exclus du crawl.
Priyank Garg l'a annoncé dans le blog officiel de Yahoo : les caractères spéciaux $ et * sont désormais supportés par Slurp, le robot de Yahoo, dans les directives Disallow du fichier robots.txt.
Dans les directives, le caractère * représente n'importe quelle séquence de caractères, et $ marque la fin d'une URL.
Par exemple si vous avez récemment appliqué la réécriture d'URL à votre forum phpBB, pour éviter que Yahoo crawle les anciennes URL, vous pouvez mettre ces lignes dans votre fichier robots.txt :
User-Agent: Yahoo! Slurp Disallow: /forum/viewtopic.php*
Cela dit dans le cas de Yahoo, on aurait pu écrire aussi :
User-Agent: Yahoo! Slurp Disallow: /forum/viewtopic.php
puisque Yahoo Slurp n'indexera pas toutes les URL qui commencent par /forum/viewtopic.php
Yahoo rajoute aussi une directive Allow qui permet comme son nom l'indique de préciser des zones du site ou des URL que le robot peut indexer. A mon avis on ne devrait pas en avoir besoin sauf peut-être dans des cas particuliers.
Rappelons que ces caractères spéciaux ne font pas partie du format initial du fichier robots.txt, mais qu'ils sont déjà pris en compte par Googlebot et MSNbot.
Rappelons enfin que le fichier robots.txt n'est pas prévu pour assurer la sécurité d'un site (il est accessible à tous) mais uniquement pour éviter aux robots de crawler les parties de votre site que vous ne souhaitez pas voir indexées.
On en discute dans le forum : Yahoo et les caractères spéciaux dans le fichier robots.txt
Par Olivier Duffez
, Samedi 4 novembre 2006
A propos de l'auteur : Olivier Duffez
![]()
Consultant indépendant en référencement, Olivier Duffez a travaillé pour les plus grands sites (Doctissimo, FNAC, RueDuCommerce...). Il édite le site WebRankInfo.com qu'il a créé en 2002, devenu la plus grande communauté francophone sur le référencement (+ 200.000 membres et 1,3 million de posts). Il a également créé la société Ranking Metrics, leader des formations emarketing en France (référencement naturel, AdWords, Analytics, réseaux sociaux).
Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.
Un commentaire
Postez un commentaire !
Les champs marqués du signe * sont obligatoires. L'adresse email ne sera pas affichée.
En postant un commentaire, vous acceptez les CGU du site WebRankInfo.
Formation référencement et webmarketing
Venez chez Ranking Metrics vous former au référencement, à Google Analytics et aux réseaux sociaux ! Plus de 4000 entreprises sont déjà venues (financement possible par OPCA, DIF...).
Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans le domaine, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.
Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, consultez le site de Ranking Metrics (organisme de formation agréé).
Hébergement web
Pour un bon référencement, il faut un bon hébergeur. Testez Sivit, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo. Vous bénéficiez d'une garantie 30 jours satisfait ou remboursé.
A partir de 1,90 EUR HT/mois.
Catégories des dossiers
- Actualité
- Android
- Autres produits Google
- Brèves
- Conseils référencement
- Débuter en référencement
- Droit et Internet
- e-marketing
- Ecrire pour le web et le référencement
- Gmail
- Google AdSense
- Google AdWords
- Google Analytics
- Google Chrome
- Google Images
- Google Labs
- Google Maps
- Google Mobile
- Google News
- Google Search
- Google Toolbar
- Google Webmaster Tools
- Google+
- Indexation Google
- L'entreprise Google
- Les API de Google
- Livres sur le référencement et les moteurs de recherche
- Outils
- PageRank
- R&D référencement
- Ranking Metrics
- Référencement Bing
- Référencement des images
- Référencement et PHP
- Référencement local
- Référencement Yahoo
- Référencement Yandex
- Réseaux sociaux
- Sitemaps
- Stratégies de liens
- Stratégies de mots-clés
- Techniques de référencement
- Webmastering
- WebRankInfo
- YouTube
Sites de l'annuaire
- Robospot - actualités du monde des robots et de la robotique, encyclopédie, forums
- Robotique Concept - Achat et vente de robots industriels
- Robot Blog : Le site des robots, de la robotique et de leur actualité
- Robots de piscine aux meilleurs prix
- Création et vente de robots industriels
- Le blog de la révolution Robots
- Vente de robots mobiles programmables
- ZonePoolz - Ligue de Billard en ligne sur Yahoo PooL



8 novembre 2006 à 16:32
comment insert t'on un fichier "robots.txt. merci et ou?