Robots.txt

[Conc3pt]

Bonjour,

J'ai fait de l'url rewriting sur mon site, et donc avant plusieurs pages php étaient référencée sur msn ou yahoo, google pas encore... (enfin si la page d'accueil).

J'ai changé tous mes liens pour mettre en html à la place et j'ai précisé dans mon robots.txt toutes les pages php.

Et la je comprends pas tous les robots qui passent continuent de demander les pages .php et non les html alors que je les ai interdit dans le fichier robots.txt et qu'il n'y a plus de lien vers ces pages php mais que des liens vers des pages html (celle qui rewritent les pages php).

Quelqu'un aurait-il une explication à ce "phénomène"?

Cela vient-il de mon robots.txt :

User-agent:*
Disallow: /news.php
Disallow: /sommaire.php
Disallow: /membres.php
Disallow: /detailmembre.php
Disallow: /archives.php
Disallow: /calendrier.php
Disallow: /clanfrance.php
Disallow: /match_stats.php
Disallow: /matchs.php
Disallow: /match_liste_et.php
Disallow: /match_liste_css.php
Disallow: /match_liste_bf.php
Disallow: /matchs-et.php
Disallow: /referants.php
Disallow: /stats.php
Disallow: /video.php
Disallow: /videos_liste.php
Disallow: /video1.php
Disallow: /cool/cheats/aimbot.php
Disallow: /cool/cheats/speedhack.php
Disallow: /cool/cheats/multihack.php
Disallow: /cool/cheats/wallhack.php
Disallow: /cool/cheats/index.php
Disallow: /cool/cheats/punkbuster.php
Disallow: /css.php
Disallow: /et.php
Disallow: /sof2.php
Disallow: /teamspeak.php
Disallow: /admin/index.php
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/memberlist.php
Disallow: /forum/login.php
Disallow: /forum/faq.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /forum/profile.php
Disallow: /forum/groupcp.php
Disallow: /forum/newtopic
Disallow: /forum/setopic
Disallow: /forum/stopic
Disallow: /forum/ntopic
Disallow: /forum/ptopic
Disallow: /forum/sutra
Disallow: /forum/mforum

sachant que mon hebergeur est Nuxit...

 

[Conc3pt]

Personne peut m'aider?

 

[Digit]

Si c'est récent, attends encore quelques jours il y a une certaine latence avant prise en compte.

Ton image animéee dans ton profil fait 120 Ko, c'est lourd.

 

[mateboo]

C'est vrai que c'est un peu lourd 120ko pour un profil mais j'aime pas mal l'image =) (et puis de nos jours qui n'a pas l'ADSL? lol)

Pour ton robots.txt je pense pas que ça viennent de là je l'ai check au validator il est passé donc...
Sinon je sais que google reconnais les robots de type "disallow: *.php" mais je sais pas si les SE le supporte, ça serait plus pratique quand même.
Sinon ben rien d'autre à faire que d'attendre pour le moment...

 

[HawkEye]

dans ton .htaccess, tu fais une redirection 301 (permanently moved) de tes pages php vers tes pages html.

 

[Patrice A.]

DOnne un extrait de ton .htaccess, on va te dire ça tout de suite

 

[Conc3pt]

Voici un extrait (je suis au boulot donc c'est de tête si ya besoin ce soir je peux donner le vrai mais normalement c'est a peu pres pareil) :

RewriteRule ^membres.* membres.php
RewriteRule ^news.* news.php
RewriteRule ^sommaire.* sommaire.php
RewriteRule ^clan-france.* clanfrance.php
RewriteRule ^statistiques-matchs.* match_stats.php
RewriteRule ^statistiques-web.* stats.php
RewriteRule ^liste-videos.* videos_liste.php
RewriteRule ^visualisation-video-([0-9]*).* video1.php?id=$1
RewriteRule ^referants-([0-9]*).* referants.php?cat=$1

Et puis derriere les ErrorDocument pour les 404, 403, etc...

Merchi

 

[Patrice A.]

Mets des drapeaux [L] en fin de ligne et ça marchera.

Nota bene : réécrire membres.html vers membres.php c'est le summum de l'inutile (ça ne sert qu'à bouffer un peu de temps processeur sur le serveur).

 

[Conc3pt]

J'avoue mais j'aimais pas avoir des php mélangé avec des html :lol:

Je suis un peu trop maniaque peut-être.

Mais qu'appelle tu les [L] j'ai pas vu ca moi :?

 

[Conc3pt]

Ok donc le L ca permet de dire stop on ne verifie pas les autres regles une fois que la regle a été vérifiée.

Sinon on peut avoir un système de bouvle infinie, phénomène que j'ai eu en mettant mes ErrorDocument j'avais des boucles infinies...

J'ai cru voir qu'il y a d'autres flags QSA, R, etc... Quelle est leur utilité? Car j'ai bien cherché mais j'ai pas tout compris (deja que je suis pas sur d'avoir compris correctement pour le L... location de serveurs de jeux)