• Configuration de l'affichage du site :
  • Affichage en pleine largeur
  • Affichage en basse résolution (800px)
  • Affichage en texte seul

Référencement :
conseils, outils, actualité, forum
tout ça gratuit !

Vous êtes ici : Outils » Robots.txt et meta robots » FAQ Robots

FAQ sur les robots

Voici les questions (et les réponses !) les plus fréquemment posées sur les robots (ou crawlers ou spiders), la façon de les détecter et les moyens pour les empêcher d'indexer certaines pages.

La liste de toutes les questions est disponible en 1 clic, classées par ordre initial ou par nombre de hits.

Question / Réponse

Thème : Fichier robots.txt

Pourquoi ai-je des demandes pour un fichier /robots.txt dans mes fichiers log ?
Il s'agit sûrement d'un robot qui cherche à vérifier si vous avez spécifié des règles d'exlusion (voir the Standard for Robot Exclusion). Si vous ne savez pas ce que c'est mais que vous préférez éviter d'avoir des erreurs 404, créez un fichier vide nommé robots.txt et placez-le à la racine de votre serveur.

Thèmes 

Chercher dans la FAQ

 
option :     

Revenir en haut de la page