Google a mit en place un 403 pour son propre robot

Discussion dans 'Crawl et indexation Google, sitemaps' créé par StuWee, 2 Décembre 2003.

  1. StuWee
    StuWee WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    90
    J'aime reçus:
    0
    ca fait pres d'un an que j'utilise proxomitron et depuis tout ce temps le header user-agent envoyé etait googlebot ......
    un config ke j'avait dû mettre l'an dernier pour tester un site probablement, et etait depuis resté bloquer dessus

    ce midi k'elle ne fût pas ma surprise de me voir accorder par google une belle erreur 403 sur toutes la pages

    j'ai tout de suite pensée a proxo, me suis dit "hey !! au fait, kel user-agent il renvoi lui ?"
    et la hô surprise user-agent : googlebot

    je desactive, et miracle google remarche

    enfin voila, c'etait juste pour le dire
    je sait pas si c'etait un simple bug, ou une volonté de google de ne pas indexé ses propres pages

    l'info est passée @++
     
  2. sergi
    sergi WRInaute discret
    Inscrit:
    28 Novembre 2003
    Messages:
    123
    J'aime reçus:
    0
    Moi j'ai rien compris, mais ca avait l'air interessant...
     
  3. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    Il veut dire que google a bloqué l'accès à ses pages à son googlebot.

    C'est logique mais c'est vrai que c'est quand même marrant...
     
  4. sergi
    sergi WRInaute discret
    Inscrit:
    28 Novembre 2003
    Messages:
    123
    J'aime reçus:
    0
    ok!!!!!!

    donc c'est pas du spamindexing de faire un truc du genre

    if google bot
    print: inciste sur les keyword pour aider google
    else
    print: phrase de texte normal en francais peu comprehensible pour un algo

    Mais Google n'indexe pas les autres moteurs en général non ? genre alltheweb n'est pas dans google... donc ca sert pas à ca leur test sur googlebot...
     
  5. StuWee
    StuWee WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    90
    J'aime reçus:
    0
    c'est peut etre pour eviter justement de voir idexé des pages de resultats

    regardez un peu le nombre de forum, de site ou pour illustré une explication/question on fait un lien vers la page de resultat google
     
  6. George Abitbol
    George Abitbol WRInaute passionné
    Inscrit:
    6 Juin 2003
    Messages:
    1 536
    J'aime reçus:
    0
    Ben si, c'est du cloaking, là. Ca n'a rien à voir avec le fait que google ne veut pas laisser indexer ses pages de résultats.

    Fred
     
  7. anguenot.com
    anguenot.com WRInaute impliqué
    Inscrit:
    14 Mai 2003
    Messages:
    644
    J'aime reçus:
    0
    Google s'accorde le droit exclusif de cloaker Googlebot :wink:
     
Chargement...
Similar Threads - Google mit place Forum Date
Pixel 3 : Google limite à 5W pour certains chargeurs tiers Google : l'entreprise, les sites web, les services 1 Novembre 2018
[Adwords - Google shopping ] - Limites d'enchère AdWords 12 Janvier 2018
Google limite le trafic d'un site Référencement Google 23 Septembre 2015
Les limites d'un compte Google Analytics Google Analytics 29 Mai 2013
question c'est quoi se rate-limited-proxy-209-85-238-211.google.com qui vient régulièremen Administration d'un site Web 22 Avril 2012
Google CSE version payante et limite en nb de requêtes Google : l'entreprise, les sites web, les services 6 Avril 2012
limiter les résultats d'une recherche google Développement d'un site Web ou d'une appli mobile 16 Septembre 2011
Limites du nombre de pages indexées par Google pour 1 site Crawl et indexation Google, sitemaps 9 Septembre 2011
Les limites de l'efficacité de google Google : l'entreprise, les sites web, les services 25 Avril 2011
Limites de l'API Google Maps - Utilisation Pro ? Développement d'un site Web ou d'une appli mobile 11 Mars 2011
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice