Syntaxe robots.txt

[seabird]

Bonjour,

Je souhaiterais autoriser l'indexation du fichier : fichier-ext.php
mais interdire l'indexation de toutes les extensions du style:
fichier-ext-1-2.php , fichier-ext-3.php ....
Je ne suis pas certain que le joker soit autorisé dans Disallow dans robots.txt.

User-Agent: *
Disallow: /fichier-ext-*.php
Allow: /

Comment peut-on faire ? En fait toutes les extensions supplémentaires sont gérées dynamiquement ( url rewriting) par des liens situés dans fichier-ext.php.
J'ai pensé faire rel=nofollow dans chacun des liens.
Mais j'aurais aimé faire ça avec robots.txt si c'est possible.

 

[crocxx]

Bonjour,
Les fichier robots.txt et les attributs rel=nofollow n'on pas la même utilité.

rel=nofollow n'empêche pas une page d'être indexé mais google de suivre le lien, donc si google trouve un autre moyen de trouver cette page il l'indexera (lien externe d'un autre site,...)


L'équivalent du robots.txt et la méta robots à placer sur tes pages:

<meta name="robots" content="noindex">

https://www.webrankinfo.com/dossiers/conseils/balise-meta-robots

Donc dans ton cas si les * ne fonctionne pas tu peu utiliser cette balise

 

[seabird]

En fait je veux seulement que cette page fichier-ext.php soit référencée et non pas les autres à cause du duplicate content. Car elle ne diffèrent que par l'ajout de photos différentes sans description.

 

[HawkEye]

Dans ce cas, identifie ça directement dans le fichier php, et ajoute un

<meta name="robots" content="noindex" />

lorsque c'est nécessaire

 

[seabird]

Oui mais si je fait ça le fichier fichier-ext.php ne sera jamais indexé, vu qu'il n'y a qu'un seul fichier ?
. En cliquant sur les différents liens existant dans celui-ci, j'envois les variables par l'url qui crée donc le fichier fichier-ext-1-2-3....php par exemple.

par exemple, j'ai dans fichier-ext.php.

<a href="fichier-ext-'.$galerie1.'-'.$galerie2.'-'.$galerie3.'-'.$galerie4.'-'.$galerie5.'-1.php" rel="nofollow">......

 

[jeanluc]

Si j'ai bien compris ce que tu veux faire, ce robots.txt pourrait convenir:

User-Agent: * 
Disallow: /fichier-ext-

Ceci exclut les robots de toutes les URL qui commencent par "/fichier-ext-".

Allow: n'est pas standard, est souvent inutile et peut-être une source de problèmes. A éviter.

Jean-Luc

 

[seabird]

Oui mais dans ce cas fichier-ext.php ne sera pas indexé ??

 

[jeanluc]

Il sera indexé puisque "/fichier-ext.php" ne commence pas par "/fichier-ext-".

Jean-Luc

 

[seabird]

A ok autant pour moi, je n'ai pas fait attention au -

 

[seabird]

Allow: n'est pas standard, est souvent inutile et peut-être une source de problèmes. A éviter.

Jean-Luc

En fait avant je ne le mettais pas . Mais j'ai vu dans GWT dans le générateur de robots.txt que google le mettait. Donc je l'ai mis aussi