Incohérences stats de crawl et logs apache

Concernant le nombre de pages crawlées : tu utilises Grep avec GoogleBot, mais :
- As-tu bien exclu des logs les ressources (js, css, images, etc...)
- As-tu vérifié que les lignes contenant GoogleBot proviennent bien d'IP de Google et pas de bots qui se font passer par Google ?

Concernant les perfs... c'est étrange, en effet. Tu peux nous partager l'adresse de ton site (éventuellement en MP si tu ne veux pas la partager publiquement) ?

 

J'ai le même problème ! Et j'ajouterais que le nombre de pages crawlés ne correspond pas au logs apache. J'ai noté également un bot adsbot, je ne sais pas s'il est pris en considération. Il y a aussi d'autres logs comme des "search" ou des "translate" (je n'ai plus la dénomination exacte sous la main).

Il y a au final peu de bots qui se font passer pour google et ils sont facile à repérer... l'ip ne commence pas par 66. Sinon un nslookup en ligne de commande sous Windows permet d'avoir confirmation du propriétaire du domaine auquel appartient l'ip.

C'est vrai que l'origine des stats de la SC est opaque. A mon sens tout ce qui n'est pas en 4xx est pris en considération.

Le temps de téléchargement de chaque ressource est considéré séparemment (les images, les css, les js). Je pense que les 301 sont comptées dans leur ensemble, alors qu'au niveau des logs il y a deux logs qui sont cumulés (un 301, puis un 200) pour le décompte du temps de téléchargement.

Par exemple le bot demande une url qui a été redirigée :

1. Le serveur met 800 ms pour répondre en 301 et envoyer la nouvelle url
2. Le bot demande la nouvelle url
3. La nouvelle url est envoyé en 200 et le serveur met 400 ms pour l'envoyer.
4. Google considére que ton url a pris 1200 ms. C'est comme cela que j'explique ce truc là.
5. Si ca se trouve google rajoute son propre temps de traitement entre les deux !

Je scrute depuis un mois les logs et j'ai parfois du mal à comprendre une brusque montée de fièvre !

Pour les redirections j'utilisais une extension Wordpress et les temps de traitement sont délirants (environ 400 ms) par rapport au même traitement dans un htaccess. J'ai donc migrer un max de redirection 301 dans le htaccess.

Pour savoir qui traite le redirection j'utilise cet outil qui précise si la redirection est faite par apache ou par le cms. https://quixapp.com/

 

Effectivement, j'avais compris que c'était l'inverse qui se passait, ça serait plus logique.

Concernant les perfs qui sont quand même le plus gros problème : le premier lien sur lequel j'ai cliqué a mis 13,15s à arriver (page d'accueil, lien "Miami Beach").
=> retour Accueil : 1,19s.
=> Paris : 11,60s
=> List your place : 1,14s
=> Accueil : 1,20s
=> FAQ : 0,44s
=> Legal Notices : 0,86s
=> Accueil : 1,41s
=> Stockholm : 10,48s
=> Solna : 7,25s

Il me parait assez clair qu'il y a vraiment un problème de perfs avec votre site. Tout le temps perdu l'est en état "waiting", donc pendant la génération des page.

 

Je confirme ! Par moment rapide et par moment très lent.