Robots txt normal est pourtant

[ABC CLIM]

Bonjour,
j'ai un petit souci d'ordre technique voulant inscrire mon nouveau site dans divers annuaires je me suis aperçu que certains me renvoyaient des erreurs 404 pas tous heureusement alors que mon site est bien visible, ,une chose inquiète c'est que dans le webmaster tools Google j'ai un grand nombre d'URL bloqué par un robot txt,j'ai vérifié dans le robot txt tout à l'air correct, ainsi dans le HTAccess... En fait je tourne en rond.
Merci pour vos avis.....

 

[jeanluc]

Bonjour,

"robots.txt" et "erreur 404" sont deux choses bien différentes. Ce n'est pas parce qu'une URL est dans ton robots.txt qu'elle va renvoyer une erreur 404.

Teste toi-même le code renvoyé par la page que tu références dans les annuaires (il y a un outil "Analyseur d'entête HTTP" sur WebRankInfo). Note que ce n'est pas parce que la page semble s'afficher normalement sur un navigateur qu'elle renvoie obligatoirement un code "200 OK", donc il vaut mieux s'en assurer avec un outil externe.

Il y a aussi des annuaires qui testent l'adresse des sites et qui indiquent une erreur quand il y a une redirection, par exemple, si tu références www.example.com et que cette page redirige vers www.example.com/blabla/index.php. Ce n'est évidement pas une erreur, mais des annuaires confondent.

Jean-Luc

 

[Tigerfou]

Bonjour,

On ne pourra pas t'aider sans avoir un lien vers ton site... Sauf bien sûr ceux qui travaillent avec une boule de cristal :wink:

Johann.

 

[ABC CLIM]

Bonjour,

On ne pourra pas t'aider sans avoir un lien vers ton site... Sauf bien sûr ceux qui travaillent avec une boule de cristal :wink:

Johann.

Merci pour vos réponses...un peu d'humour dans ce monde de brrrutes...j'ai bien un problème le test me donne ceci
Le site http://www.direct-annuaire.fr
HTTP/1.1 403 Forbidden
Set-Cookie: start=R118815721; path=/; expires=Tue, 15-Nov-2011 05:56:24 GMT
Date: Sat, 12 Nov 2011 17:35:26 GMT
Server: Apache/2.2.X (OVH)
X-Powered-By: PHP/5.2.17
Set-Cookie: 84c5a4d86ec8553e343bf6cb0c3bdc72=04fe56d98639dadf31854a9c429785d5; path=/
Vary: Accept-Encoding
Content-Type: text/html

 

[BattleArea]

HTTP/1.1 403 Forbidden

 

[jcaron]

Tu as un module quelque part qui n'aime pas certains User-Agents... Il va falloir lui apprendre à être un peu plus gentil...

Jacques.

 

[spout]

Tu as un module quelque part qui n'aime pas certains User-Agents

+1 ou avec les referrers...

 

[ABC CLIM]

Bonjour,
Merci pour vos réponses,"Tu as un module quelque part qui n'aime pas certains User-Agents" intéressant sa après vérification j'ai un deuxième site fait sous Joomla qui me renvoie la même erreur, site en place depuis quelques années déjà et qui est assez bien référencé dans sa thématique.
Les deux sites sont hébergés chez ovh troublant?
Je vais faire une recherche du côté des modules et des plugin, peut-être le firewall ?.
Merci à tous

 

[ABC CLIM]

Après vérification il semble bien que ce soit le firewall qui pose problème je viens de modifier les réglages , et de vérifier l'enquête et c'est OK par contre petite question comme cette modification pose un petit problème de sécurité.
Le fait d'avoir un code 403 pose-t-il vraiment un problème au niveau du référencement Google ou seulement pour quelqu'un annuaires ?

 

[jeanluc]

Tu n'améliores pas la sécurité en bloquant des user agents : n'importe quel informaticien peut changer le user agent des robots hostiles qu'il envoie visiter ton site.

L'exclusion de certains user agents a généralement pour but d'exclure des robots qui pompent de la bande passante sans procurer un retour quelconque. A mon avis, ce n'est pas très utile.

Jean-Luc