Rewriting et problèmes avec certains moteurs

[Grand-Pas]

Bonjour,

J'ai mis en place le rewriting pour mon site début juillet et j'attends patiemment les retombées...
Cependant j'ai quelques problèmes avec certains moteurs.
voici les erreurs 404 que je reçois :

HTTP_FROM => mailto:crawl-support@av.com
HTTP_HOST => www.domainegorn.com
HTTP_USER_AGENT => Scooter/3.2
PATH => /sbin:/usr/sbin:/bin:/usr/bin:/usr/X11R6/bin
REDIRECT_ERROR_NOTES => File does not exist: /home/sites/site143/web/series/index_pouvoir
REDIRECT_REQUEST_METHOD => GET
REDIRECT_SCRIPT_URI => http://www.domainegorn.com/series/index_pouvoir
REDIRECT_SCRIPT_URL => /series/index_pouvoir

Pour info la bonne URL est :
http://www.domainegorn.com/series/index_pouvoir.html

ou encore

HTTP_USER_AGENT => ASPseek/1.2.10
PATH => /sbin:/usr/sbin:/bin:/usr/bin:/usr/X11R6/bin
REDIRECT_ERROR_NOTES => File does not exist: /home/sites/site143/web/series/index_.html
REDIRECT_REQUEST_METHOD => GET
REDIRECT_SCRIPT_URI => http://www.domainegorn.com/series/index_.html
REDIRECT_SCRIPT_URL => /series/index_.html

J'avoue être perplexe

Est-ce que quelqu'un pourrait me dire se qui se passe exactement.
Par avance merci

Grand-Pas

 

[Qaghan]

Je confirme que les pages /series/index_.html et /series/index_pouvoir renvoient des erreurs 404...

La question qu'on peut se poser c'est:

Comment est-ce que les moteurs ont fait pour collecter ces urls erronees ?

Si tu generes les liens vers les fichiers series/index_nomdeserie.html grace a une requete vers une BdD, verifie tes scripts php... Un debordement de tableau est si vite arrive...

En ce qui concerne le /series/index_pouvoir, je ne vois pas ce qui aurait pu causer l'oubli du html...

Ton site etait-il accessible lorsque tu faisais des developpements ? As-tu constate et corrige ce genre de bugs ? Si oui, on peut penser que les crawlers sont passes au mauvais moment...

Autre hypothese: Ces moteurs essaient peut-etre de dejouer d'eventuels pieges a bot utilisant l'UR... Constatant l'existence de nombreuses url basees sur le meme principe index_nomdefichier.html, ils ont peut-etre tout simplement tente de prendre la page index_.html... Les pieges a bots ne doivent pas renvoyer d'erreur 404 quand les parametres sont invalides... Enfin ceci n'est qu'une hypothese...

Quelqu'un a-t-il deja constate ce genre de comportement chez des bots ?

Olivier,

 

[Grand-Pas]

Hello,

Merci pour ta réponse.
Concernant le débordement de tableau je ne vois pas trop ce que tu veux dire ?
Les liens sont générés via BdD. Jusqu'à présent aucun problème de connexion constatée au niveau de la base....

Par contre c'est possible que les crawlers soient passés pendant mes développements sur l'url rewriting et alors là pas de chance...
Mais j'ai plus l'impression qu'ils continuent à passer et à se casser les dents.

Bizarre....

GP

 

[gus]

Salut,

j'ai aussi remarqué ce genre de problème avec Scooter, 2 ex :

HTTP_USER_AGENT : Scooter/3.2
REDIRECT_STATUS : 404
REDIRECT_URL : /contact.ph
(au lieu contact.php)

HTTP_USER_AGENT : Scooter/3.2
REDIRECT_STATUS : 404
REDIRECT_URL : /forums/topic_7
(au lieu /forums/topic_739.php)

Ces pages n'ayant bien sur jamais existé, ça peut pas etre un problème du genre "il est passé pendant le dev." ... Etrange ...

Gus

 

[Qaghan]

Bon, je viens de faire une recherche sur le forum en tapant Scooter (ce que l'on devraitd'ailleurs toujours faire avant de poser une question ;-)

Le sujet a deja ete aborde dans ce fil: https://www.webrankinfo.com/forum/t/altavista-se-reveille.2283/

Il semble que Scooter soit bogue...

Olivier,

 

[Grand-Pas]

Arf j'avais pourtant cherché mais pas sur le scooter

En fait j'ai surtout posé la question car cela ne m'arrive pas qu'avant le scooter... il y a un second drôle dans l'histoire : Aspseek.

En tout cas maintenant le scooter il recherche des urls à base de chiffres et je ne sais absolument pas d'où il les sort.. je reçois des erreurs 404 assez étranges :mrgreen:

En tout cas merci pour votre aide. Cela me rassures je commencais à avoir des sueurs froides en me demanant comment j'avais bien pu foirer mon rewriting

@+
GP