Référencement :
conseils, outils, actualité, forum
tout ça gratuit !

Fichier Robots.txt

Fichier Robots.txt dans l'actualité

• Des informations sur l'algorithme de Yahoo Search fournies par Priyank Garg - Le 05-08-2008
  Priyank Garg, directeur de Yahoo Search, répond aux questions d'Eric Enge à propos de l'importance des liens dans l'algorithme de Yahoo Search, de la politique de Yahoo concernant l'achat et la vente de liens, de la lutte contre le spamdexing, les balises meta robots noindex et nofollow, et enfin de la classe robots-nocontent...
• Comment gérer simplement les sitemaps de plusieurs sites au même endroit - Le 28-02-2008
  Si vous gérez plusieurs sites, vous avez peut-être rencontré le cas où ça aurait été plus simple pour vous de centraliser au même endroit (sur un même site) tous les sitemaps de ces différents sites. C'était possible depuis octobre 2007 mais un peu compliqué, aujourd'hui c'est facilité par le biais du fichier robots.txt : explications...
• X-Robots-Tag : directive pour bloquer les robots dans l'entête HTTP : explications - Le 13-12-2007
  Pour bloquer l'indexation de certaines pages spécifiques d'un site, il suffit d'utiliser la balise meta robots noindex. Mais comment faire avec des documents qui ne sont pas au format HTML (documents PDF, audio, Word, Excel, Powerpoint, ... et pourquoi pas non plus des flux RSS/Atom) ? Google et Yahoo gèrent la directive X-Robots-Tag qui se déclare directement dans l'entête HTTP, ce qui le rend utilisable avec n'importe quel format de document. Voici quelques précisions sur cette fonctionnalité...
• Exalead rejoint le protocole Sitemaps.org - Le 25-06-2007
  Et de 5 ! (ou plutôt 4...) On a appris via ExaleadGuy il y a quelques jours dans le forum Exalead sur WebRankInfo qu'Exalead supporte désormais le protocole Sitemaps initié par Google, rejoint par Yahoo et Ask (et bientôt MSN/Live mais on attend toujours).
• Outil officiel de suppression de pages de l'index Google - Le 18-04-2007
  Google vient d'enrichir sa boîte à outils pour webmaster d'un système permettant de supprimer facilement du contenu de l'index Google (une page, un répertoire ou tout un site). Il n'est plus nécessaire d'utiliser l'outil précédent qui n'était pas toujours facile à retrouver, et maintenant l'historique des suppressions est mieux géré.
• Déclarer son fichier sitemap dans le fichier robots.txt - Le 16-04-2007
  Maintenant que les moteurs se sont accordés pour un protocole commun de fichier SiteMap, ils simplifient la soumission de fichier sitemap en proposant d'utiliser le fichier robots.txt (qui est pourtant historiquement utilisé pour indiquer les parties que l'on ne souhaite pas indexer...).

Egalement dans l'actualité

• Robots.txt : Yahoo supporte les options avancées - Le 04-11-2006
  Yahoo vient d'annoncer que son robot allait désormais gérer les options avancées du fichier robots.txt qui permet aux webmasters d'indiquer quels fichiers ou répertoires doivent être exclus du crawl.
• Petit changement pour Slurp (le robot de Yahoo) - Le 29-03-2007
  Le robot chargé de crawler le web pour l'indexation dans le moteur de recherche Yahoo était encore rattaché à Inktomi, racheté pourtant par Yahoo il y a plusieurs années. Son nom d'hôte sera désormais crawl.yahoo.net
• Du nouveau dans le Centre pour Webmasters de Live Search - Le 07-08-2008
  Microsoft a annoncé sur le blog de Live Search Webmaster Center qu'une mise à jour importante vient d'être faite. En effet il s'agit d'une évolution majeure depuis la sortie de cet outil en novembre 2007, qui devrait aider tous ceux qui cherchent à améliorer l'indexation et le référencement de leur site dans le moteur Live Search.
• Alexa lance un moteur de recherche d'images - Le 18-12-2006
  Alexa, qui proposait déjà un moteur de recherche classique, vient de sortir un moteur de recherche d'images.

Fichier Robots.txt dans le forum

• probleme avec fichier robots.txt fichier bloquer
• Erreurs Robots.txt sans fichier Robots.txt
• Fichier robots efficace?
• Fichier robots txt
• Fichier robots.txt
• Indexation du fichier robots.txt
• Utilisation du fichier robots.txt
• Contenu du fichier robots.txt
• protéger le fichier robots.txt
• Creer un fichier robots.txt?
• Où placer le fichier robots.txt ?
• Wikio et son fichier robots.txt
• [RESOLU] difference fichier robots et htaccess ?
• Index google et fichier robots.txt ?
• problème avec le fichier robots.txt

Rechercher dans l'actualité

Utilisez ce formulaire pour chercher dans les actualités et le forum WebRankInfo