robot.txt et redirection

[CyberMen30]

Bonjour,

Je suis tout nouveau dans le language url rewriting et j'aimerais savoir comment règler le problême de robot.txt

J'ai fait une page d'erreur 404 mais lorsque les bots vont chercher une page robot.txt, ca m'envoit un message par courriel me disant qu'il n'a pas été trouvé.

Comment empêcher ma boite de courriel d'être surcharger de ces courriel???

Vous me direz en créant un fichier robot.txt!?!

Mais, je ne croit pas en avoir vraiment besoins...peut-etre que je me trompe.

Deuxieme problème, j'ai changer mon site web qui était en html et je l'ai mis en php sauf que lorsqu'on fait des recherches sur mon site, les liens trouvé sont encore le vieux site. Comment faire pour que ces liens, lorsqu'ils sont cliqués, se dirigent vers le nouveau site et non sur la page d'erreur???


Merci infiniement

 

[CyberMen30]

Bon alors j'ai trouvé une réponse a l'une de mes questions...

"Si vous ne savez pas ce que c'est mais que vous préférez éviter d'avoir des erreurs 404, créez un fichier vide nommé robots.txt et placez-le à la racine de votre serveur."

Mais, j'ai encore besoins de celle-ci:

"Deuxieme problème, j'ai changer mon site web qui était en html et je l'ai mis en php sauf que lorsqu'on fait des recherches sur mon site, les liens trouvé sont encore le vieux site. Comment faire pour que ces liens, lorsqu'ils sont cliqués, se dirigent vers le nouveau site et non sur la page d'erreur??? "

 

[hebmaster]

RewriteRule ancienne-page.php http://www.ndd.com/nouvelle-page.php [R=301]

met le dans un fichier .htaccess dans la racine de ton site

pour la page 404 :

ErrorDocument 404 /la-page-de-404.php

aussi ds le meme .htaccess

 

[CyberMen30]

Allo hebmaster,

Merci de m'avoir répondue.

Pour le fichier 404, c'est déja fait, il fonctionnait bien, c'est juste que je recevait des message d'erreur par courriel lorsqu'un robot cherchait mon fichi robots.txt et qu'il ne le trouvait pas.

J'en ai créer un pour éviter au robots d'indexer des pages personnelles (du genre administration)

Le problême qu'il y a présentement c'est que mon ancien site était sous html et le nouveau sous php alors quand les personnes font une recherche, par exemple sur google, google leur donne comme réponse l'adresse de mon ancien site en html alors innévitablement, ils se font rediriger vers ma page d'erreur puisqu'il n'y a plus de html mais alors là, j'ai une tonne de courriel d'erreur causé par ça

 

[GoGueule]

"Si vous ne savez pas ce que c'est mais que vous préférez éviter d'avoir des erreurs 404, créez un fichier vide nommé robots.txt et placez-le à la racine de votre serveur."

Attention : Il me semble bien avoir lu que le fichier robots.txt (avec un S), ne doit jamais etre vide ?!
- Deja, si tu n'as plus aucune page html, tu peux utiliser -robots.txt- pour interdire aux moteurs l'accès aux fichiers htm et html, comme ça il ne les référenceront plus dans l'avenir, et ton fichier ne sera pas vide ..

"Deuxieme problème, j'ai changer mon site web qui était en html et je l'ai mis en php sauf que lorsqu'on fait des recherches sur mon site, les liens trouvé sont encore le vieux site. Comment faire pour que ces liens, lorsqu'ils sont cliqués, se dirigent vers le nouveau site et non sur la page d'erreur??? "

- Si les pages php portent le meme nom que portaient les pages html, sauf l'extension, alors ca te sera assez facile via le fichier htaccess, sinon, faudra "déclarer" chaque page dans ce meme fichier htaccess et ça te prendra un peu plus de temps ..

 

[CyberMen30]

Bonjour GoGueule,

Merci pour m'avoir répondu.

non, mon fichhier robots.txt n'est pas vide, j'ai interdit au robot d'indexer mes images et certaines page personnelle.

Malheureusement, pour ta deuxième réponse, non, mes pages n'ont pas les mêmes noms.

Le nouveau site porte, pour la plupart du temps, un nouveau nom pour chacun des fichier.

Je dois déclarer mes nouvelles page php???

Comment empêcher les moteur de recherche d'afficher encore les anciennes pages?

Merci Merci!

 

[CyberMen30]

Autre GROS problème que j'ai avec ma page d'erreur 404, sur le site que j'ai, j'ai des sites dites "Régionales" qui elles sont administré par d'autres webmestre.

Lorsqu'un moteur de recherche trouve un lein brisé (liens ou image) il m'envoit l'adresse de la régionale avec le nom du fichier ou de l'image me disant que celui-ci n'a pas été trouvé...

Est-il possible d'empêcher les messages provenant de ces régionales mais de recevoir que celle de mon site?

Merci d'avance pour vos réponse

 

[GoGueule]

Bonjour GoGueule,

Merci pour m'avoir répondu.

non, mon fichhier robots.txt n'est pas vide, j'ai interdit au robot d'indexer mes images et certaines page personnelle.

Malheureusement, pour ta deuxième réponse, non, mes pages n'ont pas les mêmes noms.

Le nouveau site porte, pour la plupart du temps, un nouveau nom pour chacun des fichier.

Je dois déclarer mes nouvelles page php???

Comment empêcher les moteur de recherche d'afficher encore les anciennes pages?

Merci Merci!

1- Tant mieux que le fichier robots.txt ne soit pas vide, puisqu'il semblerait que cela ne soit pas bon ..

2 - Si tes pages php n'ont pas le meme nom que les anciennes pages html, et si tu ne veux pas te prendre tes mails d'erreur pendant 5 ans, fais un routage 301 (remplacement définitif/permanent) dans ton fichier htaccess (attention 301 pas 302 - faire une recherche dans la patate violette en haut de cette page pour connaitre les BONNES instruction pour le fichier htaccess), et tu route TOUTES LES PAGES HTM ou HTML sur l'index ..
- Tu peux aussi router sur une nouvelle page php specifique pour quantifier le trafic des anciennes pages dans tes stats ..

3- Pour empecher les moteurs d'afficher les anciennes pages, faut un BON routage erreur 404 dans le htaccess.
404 = erreur page introuvable, inexistante, detruite, morte, killée

Autre GROS problème que j'ai avec ma page d'erreur 404, sur le site que j'ai, j'ai des sites dites "Régionales" qui elles sont administré par d'autres webmestre.

Lorsqu'un moteur de recherche trouve un lein brisé (liens ou image) il m'envoit l'adresse de la régionale avec le nom du fichier ou de l'image me disant que celui-ci n'a pas été trouvé...

Est-il possible d'empêcher les messages provenant de ces régionales mais de recevoir que celle de mon site?

Merci d'avance pour vos réponse

Oui, tu peux empêcher cela, mais dans ce cas tu dois indiquer dans le htaccess chacune des pages qui te concerne, et chacune qui concerne chacun des webmasters régionaux, et les router en conséquence, donc si t'as 100 régions, t'as du boulot pour optimiser ton htaccess !

PS : Pourquoi t'emm... tu a recevoir des mails pour chaque erreur, suffit de regarder les logs, les traces, les stats, pour connaitre les pages en erreur, c'est moins ch.. ?!

A moins que ton hébergeur ne te l'impose ?

 

[CyberMen30]

Merci encore GoGueule,

Pour les logs, ceux disponiblent présentement n'affichent pas les liens brisés. Il n'affiche que les stats de visite.

Mais je vais regarder pour la page d'erreur 301, ca serait chtrrrrès pratique

Merci!