Erreurs 500 pour le Googlebot et dans GWT, mais site accessible

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Jimbo57, 5 Avril 2012.

  1. Jimbo57
    Jimbo57 Nouveau WRInaute
    Inscrit:
    27 Mars 2007
    Messages:
    22
    J'aime reçus:
    0
    Bonjour,

    Je rencontre actuellement un problème important sur un site dont je m'occupe, et qui commence à avoir un impact du point de vue du référencement.
    Le principe: le site est bien accessible aux internautes, et il n'y a pas de problème d'affichage, seulement Googlebot renvoie constamment des erreurs 500, et le GWT m'indiquent des dizaines de milliers d'erreurs serveurs (alors que nous arrivons bien à accéder à ces pages de nos postes ou de l'extérieur).
    Et dans le fichier errors.log, on a des erreurs du type
    Code:
    [client 66.249.71.107] File does not exist:
    [client 66.249.71.107] Directory index forbidden by Options directive:
    On a essayé pas mal de choses, comme de regarder du côté du .htaccess, du robots.txt, on a fait pas mal de tests en remplaçant ces derniers par des fichiers de base, qui fonctionnaient avant d'avoir ces soucis (ou même avec pratiquement aucunes règles), mais rien n'y fait. On a cherché aussi du côté du template, qui a changé en début d'année également, mais on ne trouve pas l'élément qui peut causer ces erreurs, et qui surtout, à terme, risque de faire chuter nos positions.
    Si jamais quelqu'un a déjà rencontré un problème similaire (j'ai bien vu un post similaire récemment sur WRI, mais la personne a trouvé la solution seule, et son footer était la cause de ce soucis; en cherchant sur ce genre de solutions, nous n'avons rien trouvé non plus), n'hésitez pas à répondre.
    Pour information, le site est sous Drupal 7 et vous pouvez me MP pour avoir l'URL du site en question.
    Merci par avance de votre aide.
    ++
     
  2. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    ces erreurs correspondent bien à des fichiers et répertoires, donc essaie de voir dans quels scripts ces appels sont effectués. Regarde dans les logs apache aux dates et heures où les erreurs apparaissent pour savoir quelle url exacte est appelée et fais la vérification
     
  3. Jimbo57
    Jimbo57 Nouveau WRInaute
    Inscrit:
    27 Mars 2007
    Messages:
    22
    J'aime reçus:
    0
    Je vais regarder dans ce sens en effet, merci Leonick.
    Le plus étrange malgré tout, reste qu'une fois sur deux ou trois, lorsque j'analyse une page avec le Googlebot sur l'outil du GWT, il me met page accessible, puis Page inaccessible et erreurs 500 la fois d'après. Donc la page lui renvoie alternativement un code 200 puis 500... :?
    Si tu as, ou quelqu'un d'autre a d'autres pistes, je suis preneur, pour pouvoir explorer plusieurs idées à la fois.
    Merci
     
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    possible que ça soit parce qu'il met la page en cache 1 fois et que l'autre fois il lit le cache. Et le problème peut n'apparaitre que sur une seule de ces procédures
     
  5. Jimbo57
    Jimbo57 Nouveau WRInaute
    Inscrit:
    27 Mars 2007
    Messages:
    22
    J'aime reçus:
    0
    Peut-être, mais il fait le yoyo constamment, donc pourquoi lirait-il le cache une fois, puis non, puis oui... ? C'est à en devenir fou
     
  6. bg62
    bg62 WRInaute impliqué
    Inscrit:
    25 Mai 2006
    Messages:
    661
    J'aime reçus:
    0
    bonjour ;)
    il faut donc voir de ce côté là en priorité et également si c'est permanent ou à répétition ...
    bon courage ;)
     
  7. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    peut-être un délais du cache, du genre après 1/2 h on recrée le cache ?
     
  8. Jimbo57
    Jimbo57 Nouveau WRInaute
    Inscrit:
    27 Mars 2007
    Messages:
    22
    J'aime reçus:
    0
    Salut,

    En fait, nous venons de trouver la solution. Il s'agissait de scripts qui étaient appelés (mais genre un petit script de ... dont on aurait jamais soupçonné qu'il puisse causer tous ces problèmes) sur les pages du site et qui provoquaient ces erreurs. Ta piste Leonick était donc la bonne.
    Merci pour votre aide en tout cas
    ++
     
  9. bg62
    bg62 WRInaute impliqué
    Inscrit:
    25 Mai 2006
    Messages:
    661
    J'aime reçus:
    0
    comme quoi ... pourquoi faire compliqué quand on peut faire simple ;)
     
Chargement...
Similar Threads - Erreurs 500 Googlebot Forum Date
Erreurs 500 avec OVH et deux IP de Googlebot Développement d'un site Web ou d'une appli mobile 21 Mars 2013
les erreurs 500 Débuter en référencement 1 Octobre 2018
Erreurs 500 et désindexation Crawl et indexation Google, sitemaps 18 Juin 2018
Erreurs 500 et délais de convalescence . Référencement Google 13 Mars 2015
1&1 et Erreurs 500 à répétition Administration d'un site Web 8 Janvier 2014
Erreurs 500 Crawl et indexation Google, sitemaps 21 Mars 2012
Google me donne des erreurs 500 sur des pages que je ne link plus! Débuter en référencement 16 Août 2011
Search Console Erreurs d'exploration rapport Couverture Crawl et indexation Google, sitemaps 15 Avril 2020
WordPress Cloner mon site, les erreurs à éviter Développement d'un site Web ou d'une appli mobile 3 Mars 2020
[htaccess] Rediriger toutes les erreurs 404 vers ma home Crawl et indexation Google, sitemaps 30 Janvier 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice