Visites googlebot, robots.txt et nb de hits

Discussion dans 'Crawl et indexation Google, sitemaps' créé par fgfab, 14 Mars 2003.

  1. fgfab
    fgfab Nouveau WRInaute
    Inscrit:
    14 Mars 2003
    Messages:
    2
    J'aime reçus:
    0
    Salut à tous !

    Googlebot est passé (pour la première fois sur mon site tout neuf :) ), mais il n'a fait que très peu de hits à chaque fois (2-3), mais les crawl1,2 3 etc.. sont passés. Est-ce normal ?
    De plus j'ai mis dans mon robots.txt des lignes lui interdisant certaines adresses "mailto" que j'ai cryptées en caractères ascii (code "&#" + n° de caractère) afin d'éviter le spam par scan automatique des balises "mailto".

    ce qui fait un truc du style : (sans les espaces que j'ai ajoutés ici)

    Disallow: / &# 109; &# 97;...
    Disallow: /fr/ &# 109; &# 97;...
    etc...

    J'ai fait ça pour lui éviter de trouver des liens morts (puisque j'ai cru comprendre qu'il aime pas ça), quand il va chercher à suivre une URL du type : &# 109; &# 97... Mais du coup je sais pas si c'est très bon de mettre ça dans le robots.txt..

    Y a-t-il un lien de cause à effet ?
    Est-ce que googlebot va mieux aspirer le site dans le futur ?
    Est-ce que je me suis trop pris la tête avec ces balises mailto ?
    Quelqu'un aurait-il une bonne recette de poulet basquaise ? :lol:

    oups je m'égare, merci pour vos réponses !

    fab
     
  2. Dams
    Dams WRInaute discret
    Inscrit:
    10 Mars 2003
    Messages:
    124
    J'aime reçus:
    0
    Cela ne me semble pas une excellente technique pour eviter de te faire crawler tes mails de codées en ascii les caractere speciaux de ton mail to.. En effet un bon crawler de mail ne devrait pas planter sur ce genre de piege.

    Pourquoi ne fait tu pas une page avec un formulaire de Contact en php ? C'est la seul facon de vraiment protégé tes e-mails.

    Quand au robots.txt j'ai un doute quand à la validité des
    . On à le droit aux caractéres speciaux come ca ?
     
  3. fgfab
    fgfab Nouveau WRInaute
    Inscrit:
    14 Mars 2003
    Messages:
    2
    J'aime reçus:
    0
    Bin en fait pour le codage des mails j'avais vu ça ici :

    http://www.crans.ens-cachan.fr/~raffo/antispam/aem/#fra

    Et j'avais trouvé que c'était une alternative intéressante au PHP pour ceux qui veulent utiliser leur logiciel mail.

    J'ai viré le robots.txt du serveur, et apparemment au niveau du comportement de googlebot ça a pas l'air de changer grand chose.

    J'avais aussi vu dans mes stats que googlebot cherchait à accéder aux pages / &# 109; &# 97;... ce qui me faisait des erreurs 404, mais bon...

    fab
     
Chargement...
Similar Threads - Visites googlebot robots Forum Date
Fréquence des visites de Googlebot ? Crawl et indexation Google, sitemaps 31 Octobre 2013
Visites très longues de googlebot.com sur mon blog Crawl et indexation Google, sitemaps 19 Mai 2012
Visites de googlebot avec "?l=xx" Crawl et indexation Google, sitemaps 28 Mars 2011
Visites de GoogleBot sans indexation Crawl et indexation Google, sitemaps 19 Octobre 2010
GG Analytics. Incohérence sur les visites des 30 derniers jours. Google Analytics Jeudi à 17:52
Testeur Neilpatel : nb de visites TRES différent de Google Analytics Référencement Google Lundi à 10:49
Visites directes via OVH Google Analytics 3 Octobre 2019
Nouveaux utilisateurs + visites directes Google Analytics 30 Septembre 2019
C'est quoi ces visites ? Administration d'un site Web 27 Juillet 2019
pour des visites guidées animées Tests et études de cas 21 Juin 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice