Erreurs 500 pour le Googlebot et dans GWT, mais site accessible

[Jimbo57]

Bonjour,

Je rencontre actuellement un problème important sur un site dont je m'occupe, et qui commence à avoir un impact du point de vue du référencement.
Le principe: le site est bien accessible aux internautes, et il n'y a pas de problème d'affichage, seulement Googlebot renvoie constamment des erreurs 500, et le GWT m'indiquent des dizaines de milliers d'erreurs serveurs (alors que nous arrivons bien à accéder à ces pages de nos postes ou de l'extérieur).
Et dans le fichier errors.log, on a des erreurs du type

[client 66.249.71.107] File does not exist:
[client 66.249.71.107] Directory index forbidden by Options directive:

On a essayé pas mal de choses, comme de regarder du côté du .htaccess, du robots.txt, on a fait pas mal de tests en remplaçant ces derniers par des fichiers de base, qui fonctionnaient avant d'avoir ces soucis (ou même avec pratiquement aucunes règles), mais rien n'y fait. On a cherché aussi du côté du template, qui a changé en début d'année également, mais on ne trouve pas l'élément qui peut causer ces erreurs, et qui surtout, à terme, risque de faire chuter nos positions.
Si jamais quelqu'un a déjà rencontré un problème similaire (j'ai bien vu un post similaire récemment sur WRI, mais la personne a trouvé la solution seule, et son footer était la cause de ce soucis; en cherchant sur ce genre de solutions, nous n'avons rien trouvé non plus), n'hésitez pas à répondre.
Pour information, le site est sous Drupal 7 et vous pouvez me MP pour avoir l'URL du site en question.
Merci par avance de votre aide.
++

 

[Leonick]

ces erreurs correspondent bien à des fichiers et répertoires, donc essaie de voir dans quels scripts ces appels sont effectués. Regarde dans les logs apache aux dates et heures où les erreurs apparaissent pour savoir quelle url exacte est appelée et fais la vérification

 

[Jimbo57]

Je vais regarder dans ce sens en effet, merci Leonick.
Le plus étrange malgré tout, reste qu'une fois sur deux ou trois, lorsque j'analyse une page avec le Googlebot sur l'outil du GWT, il me met page accessible, puis Page inaccessible et erreurs 500 la fois d'après. Donc la page lui renvoie alternativement un code 200 puis 500... :?
Si tu as, ou quelqu'un d'autre a d'autres pistes, je suis preneur, pour pouvoir explorer plusieurs idées à la fois.
Merci

 

[Leonick]

possible que ça soit parce qu'il met la page en cache 1 fois et que l'autre fois il lit le cache. Et le problème peut n'apparaitre que sur une seule de ces procédures

 

[Jimbo57]

Peut-être, mais il fait le yoyo constamment, donc pourquoi lirait-il le cache une fois, puis non, puis oui... ? C'est à en devenir fou

 

[bg62]

bonjour

code HTTP
500
Erreur interne du serveur Le serveur HTTP a rencontré une condition inattendue qui l'a empêché de traiter la requête.
Cette erreur peut par exemple être le résultat d'une mauvaise configuration du serveur, ou d'une ressource épuisée ou refusée au serveur sur la machine hôte.

il faut donc voir de ce côté là en priorité et également si c'est permanent ou à répétition ...
bon courage

 

[Leonick]

peut-être un délais du cache, du genre après 1/2 h on recrée le cache ?

 

[Jimbo57]

Salut,

En fait, nous venons de trouver la solution. Il s'agissait de scripts qui étaient appelés (mais genre un petit script de ... dont on aurait jamais soupçonné qu'il puisse causer tous ces problèmes) sur les pages du site et qui provoquaient ces erreurs. Ta piste Leonick était donc la bonne.
Merci pour votre aide en tout cas
++

 

[bg62]

comme quoi ... pourquoi faire compliqué quand on peut faire simple