Syntaxe robots.txt

WRInaute occasionnel
Bonjour,

Je souhaiterais autoriser l'indexation du fichier : fichier-ext.php
mais interdire l'indexation de toutes les extensions du style:
fichier-ext-1-2.php , fichier-ext-3.php ....
Je ne suis pas certain que le joker soit autorisé dans Disallow dans robots.txt.

Code:
User-Agent: *
Disallow: /fichier-ext-*.php
Allow: /

Comment peut-on faire ? En fait toutes les extensions supplémentaires sont gérées dynamiquement ( url rewriting) par des liens situés dans fichier-ext.php.
J'ai pensé faire rel=nofollow dans chacun des liens.
Mais j'aurais aimé faire ça avec robots.txt si c'est possible.
 
WRInaute discret
Bonjour,
Les fichier robots.txt et les attributs rel=nofollow n'on pas la même utilité.

rel=nofollow n'empêche pas une page d'être indexé mais google de suivre le lien, donc si google trouve un autre moyen de trouver cette page il l'indexera (lien externe d'un autre site,...)


L'équivalent du robots.txt et la méta robots à placer sur tes pages:

Code:
<meta name="robots" content="noindex">

https://www.webrankinfo.com/dossiers/conseils/balise-meta-robots

Donc dans ton cas si les * ne fonctionne pas tu peu utiliser cette balise ;)
 
WRInaute occasionnel
En fait je veux seulement que cette page fichier-ext.php soit référencée et non pas les autres à cause du duplicate content. Car elle ne diffèrent que par l'ajout de photos différentes sans description.
 
WRInaute accro
Dans ce cas, identifie ça directement dans le fichier php, et ajoute un
Code:
<meta name="robots" content="noindex" />
lorsque c'est nécessaire ;)
 
WRInaute occasionnel
Oui mais si je fait ça le fichier fichier-ext.php ne sera jamais indexé, vu qu'il n'y a qu'un seul fichier ?
. En cliquant sur les différents liens existant dans celui-ci, j'envois les variables par l'url qui crée donc le fichier fichier-ext-1-2-3....php par exemple.

par exemple, j'ai dans fichier-ext.php.
Code:
<a href="fichier-ext-'.$galerie1.'-'.$galerie2.'-'.$galerie3.'-'.$galerie4.'-'.$galerie5.'-1.php" rel="nofollow">......
 
WRInaute accro
Si j'ai bien compris ce que tu veux faire, ce robots.txt pourrait convenir:
Code:
User-Agent: * 
Disallow: /fichier-ext-
Ceci exclut les robots de toutes les URL qui commencent par "/fichier-ext-".

Allow: n'est pas standard, est souvent inutile et peut-être une source de problèmes. A éviter.

Jean-Luc
 
WRInaute occasionnel
jeanluc a dit:
Allow: n'est pas standard, est souvent inutile et peut-être une source de problèmes. A éviter.

Jean-Luc

En fait avant je ne le mettais pas . Mais j'ai vu dans GWT dans le générateur de robots.txt que google le mettait. Donc je l'ai mis aussi :D
 
Discussions similaires
Haut