Méta-tag "robots"

curieuxmann · 25 Novembre 2003

Bonsoir,

En espèrant que la question n'a pas déjà été posée (La fonction recherche ne m'a pas permise de trouver de réponses précises à ma question).

J'aimerais savoir si l'utilisation de la syntaxe ci-dessous relative à la Meta-Tag "robots" (à placer entre les balises <head> et </head>) permettant d'indiquer aux robots des moteurs de recherche l'indextation ou non d'une page et/ou des liens hypertextes est-elle efficace dans tous les moteurs de recherches (Google, Altavista, Yahoo, etc.)

Code:

<meta name="robots" content="noindex, nofollow">

La syntaxe ci-dessus permet par exemple d'indiquer aux robots :
- La page ne sera pas indexée par le robot grace à la valeur "noindex" ;
- Les liens contenus dans la page ne seront pas indexés grace à la valeur "nofollow".

D'ailleurs dans mon exemple, je crois qu'il est aussi possible d'écrire :

Code:

<meta name="robots" content="none">

non ?

D'avance merci pour vos réponses.

WebRankInfo · 25 Novembre 2003

tu trouveras quelques infos sur https://www.webrankinfo.com/dossiers/conseils/balise-meta-robots
les robots sont libres de respecter ou non cette balise. Cependant, la plupart des moteurs la respectent (j'avoue ne pas avoir vérifié chaque moteur).
De mémoire, je sais que Google et DeepIndex la respectent. Sans doute aussi tous les moteurs "majeurs".

curieuxmann · 25 Novembre 2003

Bonsoir,

Si j'ai bien compris, on peut aussi utiliser un fichier nommé robots.txt qu'on l'on doit normalement placer dans le répertoire racine du site.

Je prends l'exemple (j'espère que je peux ?) du fichier robots.txt trouvé dans la racine du site Internet

Dans le fichier robots.txt ci-dessus, tous les robots (*) sauf le robot "TurnitinBot" ont le droit d'indexer tous les répertoires et fichier (/) , sauf le répertoire «images» (Disallow: /images/), et les fichiers login.php, modcp.php, posting.php, printview.php, privmsg.php, search.php et viewonline.php tous contenus dans le répertoires forums.

Est-ce bien ça que ce fichier ordonne aux robots ?

WebRankInfo · 25 Novembre 2003

le fichier robots.txt est publique, il est consultable par tous et ne révèle rien de particulier.

la ligne User-agent: * indique qu'elle concerne tous les robots. ce qui suit indique qu'ils n'ont pas le droit d'indexer les pages listées (ou plutôt que ce n'est pas la peine qu'ils le fassent).

ensuite les 2 dernières lignes interdisent au robot TurnitinBot d'indexer quoi que ce soit. Le pb est qu'il ne respecte toujours pas cette directive, alors qu'il annonce officiellement le faire...

Blastboy · 26 Novembre 2003

Salut,

moi y a un truc qui m'a toujours fait rire a ce sujet, car c'est paradoxal:
Pour pouvoir lire une balise meta robots, les moteurs sont obligé de lire la page web! Sauf qu'il ne l'indexera pas si c'est ce qui est stipulé dans la balise...
C'est aussi ça la différence avec un robots.txt, qui lui est lu avant que le moteur ne crawl une page...

Bref, pour ceux qui ne veulent pas que les moteurs crawl trop souvent leur site pour cause d'économie de bande passante, le robots.txt est bcp plus indiqué...

curieuxmann · 26 Novembre 2003

Salut,

Merci pour ton conseil. Il est vrai qu'il est très intéressant (et même nécessaire) d'économiser de la bande passante, à la fois pour le serveur, mais aussi pour le réseau en général.