Technique robots.txt

[Amibien]

Bonjour à tous

Ayant appliqué depuis peu de l'url rewriting, je souhaiterai à présent dire à google de ne plus indexer toutes mes pages php (je dirai même idéalement de les déindéxer mais sans passer par de la redirection celà me parait inconcevable).

Auriez vous donc par hasard la syntaxe à appliquer dans mon robots.txt (sans doutes proche de :
Ainsi :

Disallow: /perso ne permettra l'indexation ni de http://www.monsite.com/perso/index.html, ni de http://www.monsite.com/perso.html

 

[serval2a]

User-agent: *
//supprimer page -http://www.monsite.com/perso.html avec
Disallow: /perso.html
//supprimer page -http://www.monsite.com/perso/index.html avec
Disallow: /perso/index.html
//supprimer tout le dossier -http://www.monsite.com/perso/ dont index.html avec
Disallow: /perso/
etc

Et pour vérifier :
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

 

[t-prod]

Bonjour,

Et si on utilise pas l'url rewriting et qu'on a une URL du genre :

http://www.mondomaine.com?mavariable=mavaleur

Si j'aimerais interdire les pages avec ?mavariable=mavaleur2 et ?mavariable=mavaleur3 ?

Comment je peux m'y prendre avec le robots.txt ?

 

[Amibien]

User-agent: *
//supprimer page -http://www.monsite.com/perso.html avec
Disallow: /perso.html
//supprimer page -http://www.monsite.com/perso/index.html avec
Disallow: /perso/index.html
//supprimer tout le dossier -http://www.monsite.com/perso/ dont index.html avec
Disallow: /perso/

J'avais déla lu la syntaxe pour robots.txt mais je ne vois pas comment l'adapter pour dire à google de ne plus indexer toutes les pages du type
*.php

J'ai l'impression que celà n'est pas possible à partir de ce fichier robots, peut faut t-il se servir de l'htaccess pour l'informer que ces pages de doivent plus être indéxées... mais la encore je ne vois pas la synthaxe :?:

 

[Amibien]

Est ce que la syntaxe :

Disallow: /fichier.php

interdira /fichier.php?var1=val1&var2=val2 ?

Et si oui, est que celà autorisera :
/fichier-var1-val1-var2-val2.html

 

[serval2a]

Le fichier robots.txt interdit soit une page soit un repertoire par conséquent il est sensé interdire :
avec l'instruction suivante Disallow: /fichier.php l'indexation de la page
/fichier.php et de toutes ses variables comme /fichier.php&1-mnop-255
Par conséquent, il ne devrait pas interdire l'indexation de /fichier-var1-val1-var2-val2.html puisque la suite ne contient pas fichier.php

Pour t-prod tu peux utiliser :
User-agent: *
Disallow: /?mavariable=mavaleur2
Disallow: /?mavariable=mavaleur3

Les autres pages (comme ?mavariable=mavaleur4) seront indexées.

 

[Amibien]

Merci serval2a, je pense qu'on à bien compris le truc
En faisant la commande suivante sur google : https://www.google.fr/search?hl=fr&q=sit ... html&meta=

Je remarque que google m'a indéxé la page suivante :
www.osapi.fr/?op=edito

Comme je ne sais pas trop ou il a trouvé ce truc, nous pensons ajouter cela à notre robot :
Disallow: /?

Vous pouvez me confirmer que celà ne risque pas de casser l'indexation de toutes mes pages html ?

 

[serval2a]

Logiquement et sans garanties il ne devrait pas y avoir de problème.

Je viens de jeter un coup d'oeil sur ton site et il me semble que ton problème vient d'un possible "duplicate content" suite à un URL rewriting entre les pages qui ont affichées avec l'URL ré-écrite et celles qui le sont sans URL ré-écrite.

Si c'est bien le cas, on peut faire un parallèle avec un fichier robots.txt placé pour éviter le duplicate lors du rewitre d'un forum phpbb2 tel que celui-ci :

User-agent: *
Disallow: /dossierphpbb/post-
Disallow: /dossierphpbb/updates-topic
Disallow: /dossierphpbb/stop-updates-topic
Disallow: /dossierphpbb/viewtopic.php?
Disallow: /dossierphpbb/viewforum.php?
Disallow: /dossierphpbb/index.php?
Disallow: /dossierphpbb/error.php
Disallow: /dossierphpbb/-br
Disallow: /dossierphpbb/mark
Disallow: /dossierphpbb/image-
Disallow: /dossierphpbb/1-
Disallow: /dossierphpbb/next
Disallow: /marsforum/arreter
Disallow: /marsforum/voir

qui est conseillé dans ce post là : https://www.webrankinfo.com/forum/t/url-rewriting-titres-pour-phpbb-v2-solution-globale.31831/

Tu constates l'interdiction Disallow: /dossierphpbb/viewforum.php? or si la page /dossierphpbb/viewforum.php?f=1 ne sera par conséquent pas indexée, la même page avec l'adresse ré-écrite le sera (exemple /dossierphpbb/forum-1-presentation.html).

 

[Amibien]

Je viens de jeter un coup d'oeil sur ton site et il me semble que ton problème vient d'un possible "duplicate content" suite à un URL rewriting entre les pages qui ont affichées avec l'URL ré-écrite et celles qui le sont sans URL ré-écrite.

Si c'est bien le cas, on peut faire un parallèle avec un fichier robots.txt placé pour éviter le duplicate lors du rewitre d'un forum phpbb2 tel que celui-ci :

Je pense que tu as tout a fait raison et c'est pour celà que nous sommes en train de plancher sur le robots.txt pour régler ce pb de duplicate content.

Nous avons mis en ligne hier soir cette version de notre robot :

User-agent: *
Disallow: /images
Disallow: /themes
Disallow: /logs
Disallow: /cache
Disallow: /sql
Disallow: /forum.php
Disallow: /friend.php
Disallow: /index.php
Disallow: /pollBooth.php
Disallow: /powerpack.php
Disallow: /print.php
Disallow: /reviews_critiques.php
Disallow: /static.php
Disallow: /tri.php
Disallow: /user.php
Disallow: /viewforum.php
Disallow: /viewtopic.php

Celà devrait logiquement éliminer toutes les anciennes url non rewritées, et tout particulièrement les milliers de pages tri.php encore présentes dans l'index de google.
Tu peux nous confirmer serval2a ?

 

[HawkEye]

Note: Ton robots.txt ne permettra certainement pas une désindexation rapide des pages que tu souhaites voir disparaître...

Google met un temps dingue à les désindexer comme ça.

Essaye de voir si tu ne peux pas assortir ton .htaccess d'une redirection 301 des anciennes vers les nouvelles... Il doit y'avoir moyen.

@+

 

[serval2a]

Je suis du même avis que HawkEye_TpfH

Pour ce qui est du fichier si tu interdit tout un dossier du site il faut rajouter un / à la fin comme : Disallow: /images/ pour interdire /images/bille.jpg, /images/boule.jpg ...

 

[Amibien]

Ton robots.txt ne permettra certainement pas une désindexation rapide des pages que tu souhaites voir disparaître

Question con mais par "pas rapide" tu penses a 1 semaine, 2semaines, 1 mois, 3 mois, 6 mois ou 1 an ? :?

 

[HawkEye]

J'ai encore des pages indexées d'il y'a 2 ans

(sur un site sur lequel je n'ai plus la main, donc plus de possibilité d'action)

 

[Grand-Pas]

Concernant les règles du robots.txt à appliquer pour une bonne désindexation je recommande la lecture de cette page :
https://www.google.com/webmasters/remove.html
Il y a une technique pour supprimer un type de fichier...