Requetes Google -> GET et HEAD

sebaugereau · 30 Mai 2006

Mon site etant mal référencé (comprendre que google ne daigne plus le visite malgré des liens durs qui pointent vers lui depuis plusieurs mois), j'epluche les logs et trouve ceci :

crawl-66-249-65-2.googlebot.com -www.monsite.fr - [29/May/2006:09:17:01 +0200] "GET /robots.txt HTTP/1.1" 200 37 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-66-249-65-2.googlebot.com -www.monsite.fr - [29/May/2006:09:17:01 +0200] "HEAD / HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

Est-ce que le fait que google ne fasse pas de GET / HTTP/1.1 mais simplement un HEAD / HTTP/1.1 peut avoir un incidence? Je me demande si google ne fait pas QUE regarder le contenu de la balise <head> via cette requette et que finalement il ne cherche pas à aller plus loin

Pour info, le site est (suite à un précédent post) -www.galeriebert.fr.
Je commence serieusement à desesperer.

spidetra · 30 Mai 2006

Google, et les autres bots, cherchent à économiser leur bande passante et la tienne.
S'il fait un GET à chaque fois, il va téléchargé l'ensemble de ta page à chacune de ses requêtes.
En faisant un HEAD, il n'analyse que ton en-tête HTTP. Il peut ensuite "décider" s'il doit crawler ta page ou non.
Ne t'inquiète pas si Google fait des HEAD c'est normal.

HEAD n'a rien à voir avec la balise <head>

HEAD / GET => protocole HTTP
<head> => balise html.
quasiment aucune relation entre les deux.

Tu verras un jour il finirat bien par remplacer les HEAD par des GET

sebaugereau · 30 Mai 2006

OK merci pour l'eclaircissement !