Erreurs 500 pour le Googlebot et dans GWT, mais site accessible

Bonjour,

Je rencontre actuellement un problème important sur un site dont je m'occupe, et qui commence à avoir un impact du point de vue du référencement.
Le principe: le site est bien accessible aux internautes, et il n'y a pas de problème d'affichage, seulement Googlebot renvoie constamment des erreurs 500, et le GWT m'indiquent des dizaines de milliers d'erreurs serveurs (alors que nous arrivons bien à accéder à ces pages de nos postes ou de l'extérieur).
Et dans le fichier errors.log, on a des erreurs du type

Code:

[client 66.249.71.107] File does not exist:
[client 66.249.71.107] Directory index forbidden by Options directive:

On a essayé pas mal de choses, comme de regarder du côté du .htaccess, du robots.txt, on a fait pas mal de tests en remplaçant ces derniers par des fichiers de base, qui fonctionnaient avant d'avoir ces soucis (ou même avec pratiquement aucunes règles), mais rien n'y fait. On a cherché aussi du côté du template, qui a changé en début d'année également, mais on ne trouve pas l'élément qui peut causer ces erreurs, et qui surtout, à terme, risque de faire chuter nos positions.
Si jamais quelqu'un a déjà rencontré un problème similaire (j'ai bien vu un post similaire récemment sur WRI, mais la personne a trouvé la solution seule, et son footer était la cause de ce soucis; en cherchant sur ce genre de solutions, nous n'avons rien trouvé non plus), n'hésitez pas à répondre.
Pour information, le site est sous Drupal 7 et vous pouvez me MP pour avoir l'URL du site en question.
Merci par avance de votre aide.
++

 

Je vais regarder dans ce sens en effet, merci Leonick.
Le plus étrange malgré tout, reste qu'une fois sur deux ou trois, lorsque j'analyse une page avec le Googlebot sur l'outil du GWT, il me met page accessible, puis Page inaccessible et erreurs 500 la fois d'après. Donc la page lui renvoie alternativement un code 200 puis 500... :?
Si tu as, ou quelqu'un d'autre a d'autres pistes, je suis preneur, pour pouvoir explorer plusieurs idées à la fois.
Merci

 

Peut-être, mais il fait le yoyo constamment, donc pourquoi lirait-il le cache une fois, puis non, puis oui... ? C'est à en devenir fou

 

Salut,

En fait, nous venons de trouver la solution. Il s'agissait de scripts qui étaient appelés (mais genre un petit script de ... dont on aurait jamais soupçonné qu'il puisse causer tous ces problèmes) sur les pages du site et qui provoquaient ces erreurs. Ta piste Leonick était donc la bonne.
Merci pour votre aide en tout cas
++