Visites googlebot, robots.txt et nb de hits

Discussion dans 'Crawl et indexation Google, sitemaps' créé par fgfab, 14 Mars 2003.

  1. fgfab
    fgfab Nouveau WRInaute
    Inscrit:
    14 Mars 2003
    Messages:
    2
    J'aime reçus:
    0
    Salut à tous !

    Googlebot est passé (pour la première fois sur mon site tout neuf :) ), mais il n'a fait que très peu de hits à chaque fois (2-3), mais les crawl1,2 3 etc.. sont passés. Est-ce normal ?
    De plus j'ai mis dans mon robots.txt des lignes lui interdisant certaines adresses "mailto" que j'ai cryptées en caractères ascii (code "&#" + n° de caractère) afin d'éviter le spam par scan automatique des balises "mailto".

    ce qui fait un truc du style : (sans les espaces que j'ai ajoutés ici)

    Disallow: / &# 109; &# 97;...
    Disallow: /fr/ &# 109; &# 97;...
    etc...

    J'ai fait ça pour lui éviter de trouver des liens morts (puisque j'ai cru comprendre qu'il aime pas ça), quand il va chercher à suivre une URL du type : &# 109; &# 97... Mais du coup je sais pas si c'est très bon de mettre ça dans le robots.txt..

    Y a-t-il un lien de cause à effet ?
    Est-ce que googlebot va mieux aspirer le site dans le futur ?
    Est-ce que je me suis trop pris la tête avec ces balises mailto ?
    Quelqu'un aurait-il une bonne recette de poulet basquaise ? :lol:

    oups je m'égare, merci pour vos réponses !

    fab
     
  2. Dams
    Dams WRInaute discret
    Inscrit:
    10 Mars 2003
    Messages:
    123
    J'aime reçus:
    0
    Cela ne me semble pas une excellente technique pour eviter de te faire crawler tes mails de codées en ascii les caractere speciaux de ton mail to.. En effet un bon crawler de mail ne devrait pas planter sur ce genre de piege.

    Pourquoi ne fait tu pas une page avec un formulaire de Contact en php ? C'est la seul facon de vraiment protégé tes e-mails.

    Quand au robots.txt j'ai un doute quand à la validité des
    . On à le droit aux caractéres speciaux come ca ?
     
  3. fgfab
    fgfab Nouveau WRInaute
    Inscrit:
    14 Mars 2003
    Messages:
    2
    J'aime reçus:
    0
    Bin en fait pour le codage des mails j'avais vu ça ici :

    http://www.crans.ens-cachan.fr/~raffo/antispam/aem/#fra

    Et j'avais trouvé que c'était une alternative intéressante au PHP pour ceux qui veulent utiliser leur logiciel mail.

    J'ai viré le robots.txt du serveur, et apparemment au niveau du comportement de googlebot ça a pas l'air de changer grand chose.

    J'avais aussi vu dans mes stats que googlebot cherchait à accéder aux pages / &# 109; &# 97;... ce qui me faisait des erreurs 404, mais bon...

    fab
     
Chargement...
Similar Threads - Visites googlebot robots Forum Date
Fréquence des visites de Googlebot ? Crawl et indexation Google, sitemaps 31 Octobre 2013
Visites très longues de googlebot.com sur mon blog Crawl et indexation Google, sitemaps 19 Mai 2012
Visites de googlebot avec "?l=xx" Crawl et indexation Google, sitemaps 28 Mars 2011
Visites de GoogleBot sans indexation Crawl et indexation Google, sitemaps 19 Octobre 2010
Baisse des visites des googlebot Crawl et indexation Google, sitemaps 21 Août 2008
A propos des visites de GoogleBot Référencement Google 8 Octobre 2007
GoogleBot, plus de 2000 visites par jour Crawl et indexation Google, sitemaps 19 Mars 2007
Frequence visites de googlebot sur un futur forum Débuter en référencement 29 Janvier 2006
Combien de temps entre 2 visites de googlebot Débuter en référencement 5 Décembre 2005
Optimisations de mon site, et visites de googlebot Crawl et indexation Google, sitemaps 31 Août 2005
Nombre de visites de googlebot Crawl et indexation Google, sitemaps 16 Mai 2005
Arrêt des visites Googlebot suite à une mise à jour de site Crawl et indexation Google, sitemaps 10 Février 2004
Beaucoup de visites du googlebot et descente en page rank Problèmes de référencement spécifiques à vos sites 7 Septembre 2003
Matomo visites à zéro depuis deux jours. Administration d'un site Web 28 Juillet 2022
Avis d'hébergeur web pour 15.000 visites/jour Administration d'un site Web 4 Juin 2022
Pages de mon site indexées mais très peu de visites Problèmes de référencement spécifiques à vos sites 15 Janvier 2022
Beaucoup d'articles et seulement 12 visites/jour Problèmes de référencement spécifiques à vos sites 25 Juin 2021
Regrouper dans Analytics les visites de pages AMP/Non-AMP Google Analytics 14 Mars 2021
Site pour obtenir des visites humaines Annuaires et moteurs 6 Février 2021
Analyser les visites sur un article par heures sur la journée ? Google Analytics 20 Octobre 2020