bloquer les robots et ne recevoir que les vrais utilisateurs

Discussion dans 'Demandes d'avis et de conseils sur vos sites' créé par webexplorer, 17 Mai 2007.

  1. webexplorer
    webexplorer WRInaute discret
    Inscrit:
    1 Mars 2004
    Messages:
    159
    J'aime reçus:
    0
    Bonjour,

    J'ai un petit souci avec un site que j'administre.
    J'ai des stats via Xiti et Webalizer (fournie par mon hébergeur).
    D'après Xiti, je tourne à environ 1200 visites uniques par jour, mais d'après Webalizer, c'est plutôt 7500 !
    Après réflexion, la différence provient du fait qu'il y a énormément de robots qui viennent crawler mon site.

    Depuis peu, mon hébergeur m'a contacté pour me dire que mon site consomme trop de ressources mysql.
    J'ai donc optimisé les accès mysql. J'ai aussi installé un .htaccess pour bloquer toute une série de robots de la façon suivante :

    Code:
    RewriteEngine On 
    
    RewriteCond %{HTTP_USER_AGENT} robot1 [OR]
    ...
    RewriteCond %{HTTP_USER_AGENT} robotN
    RewriteRule ^(.*)$ http://www.ailleurs.com/
    mais ça n'a pas réglé le problème d'après mon hébergeur.

    comment faire ?

    merci :)
     
  2. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    bloquer certains robots avec robots.txt, parce que de vouloir bloquer tous les robots, cela va, à terme, bloquer a venue des visiteurs. Sauf s'ils ont le site dans leurs bookmarks ou que le site a beaucoup de BL bien positionnés
     
  3. hardmicro
    hardmicro WRInaute impliqué
    Inscrit:
    5 Octobre 2004
    Messages:
    950
    J'aime reçus:
    0
  4. nomasis
    nomasis WRInaute discret
    Inscrit:
    22 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Hello je dois avouer que j'ai regardé aussi.
    Merci de l'avoir partagé. ;)
     
  5. hardmicro
    hardmicro WRInaute impliqué
    Inscrit:
    5 Octobre 2004
    Messages:
    950
    J'aime reçus:
    0

    Derien c'est normal;-)
     
  6. polweb
    polweb WRInaute accro
    Inscrit:
    18 Octobre 2006
    Messages:
    3 231
    J'aime reçus:
    0
    Oula tous ces robots !

    Ils viennent vraiment tous ?
     
  7. hardmicro
    hardmicro WRInaute impliqué
    Inscrit:
    5 Octobre 2004
    Messages:
    950
    J'aime reçus:
    0
    Ce sont pour la plupart des robots aspirateurs de sites
     
  8. polweb
    polweb WRInaute accro
    Inscrit:
    18 Octobre 2006
    Messages:
    3 231
    J'aime reçus:
    0
    Ok, merci.
     
Chargement...
Similar Threads - bloquer robots recevoir Forum Date
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble) Problèmes de référencement spécifiques à vos sites 14 Octobre 2014
Robots.txt : bloquer un seul répertoire Problèmes de référencement spécifiques à vos sites 15 Février 2014
Comment bloquer des url avec robots.txt ? Crawl et indexation Google, sitemaps 8 Novembre 2012
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Comment bloquer les pdfs dans le robots.txt Crawl et indexation Google, sitemaps 17 Janvier 2011
Bloquer tous les robots sauf Google, une si mauvaise idée? Débuter en référencement 24 Avril 2010
Bloquer les aspirateurs avec robots.txt Administration d'un site Web 19 Août 2009
Bloquer des urls via un robots.txt . est ce un problème ? Référencement Google 8 Juin 2009
Bloquer les pages recherche par robots.txt Problèmes de référencement spécifiques à vos sites 6 Mai 2009
Bloquer l'accés à des "sous-liens" en utilisant robots.txt Problèmes de référencement spécifiques à vos sites 5 Mars 2009
Bloquer flux RSS dans robots.txt ? Référencement Google 28 Décembre 2008
Bloquer index.php dans robots.txt Crawl et indexation Google, sitemaps 23 Septembre 2008
Bloquer robots sans en-têtes URL Rewriting et .htaccess 31 Août 2008
Probleme avec fichier robots.txt fichier bloquer Crawl et indexation Google, sitemaps 4 Septembre 2007
Utilisation de robots.txt pour bloquer les pages dynamiques Crawl et indexation Google, sitemaps 20 Septembre 2004
Astuce Bloquer ip utilisateur actions étranges sur mon site Le café de WebRankInfo 13 Août 2022
Bots scrapers et impact SEO : comment les bloquer ? Crawl et indexation Google, sitemaps 21 Mai 2022