Bloquer tous les robots sauf Google, une si mauvaise idée?

Discussion dans 'Débuter en référencement' créé par Dr DLP, 24 Avril 2010.

  1. Dr DLP
    Dr DLP WRInaute impliqué
    Inscrit:
    29 Juin 2003
    Messages:
    525
    J'aime reçus:
    0
    Je regarde les stats de mon dernier site et je vois que les autres moteurs que Google m'amènent un nombre négligeable de visiteurs (de l'ordre du 500:3).
    Par contre leurs robots sont très présents.

    Outre ces quelques visiteurs, il y a t-il un désavantage à utiliser le robots.txt suivant:
    Code:
    User-Agent: Googlebot
    Disallow :
    User-Agent: Mediapartners-Google*
    Disallow :
    User-Agent: *
    Disallow: /
    Je n'y vois que gain en terme de bande passante épargnée, un détail m'échappe t-il?
     
  2. frez
    frez WRInaute occasionnel
    Inscrit:
    22 Janvier 2008
    Messages:
    319
    J'aime reçus:
    0
    Un nombre même négligeable reste un nombre! :lol:

    Ce qui me gêne la dedans c'est de baser tout ton trafic sur google... Si un jour tu es déclassé pour telle ou telle raison tu n'auras plus de visiteurs...
     
  3. ricosound
    ricosound WRInaute occasionnel
    Inscrit:
    25 Octobre 2009
    Messages:
    447
    J'aime reçus:
    0
    Hello.

    / mode taquin /

    Si tu veut vraiment économiser la bande passante : "noindex, nofollow" . :mrgreen: :mrgreen: :mrgreen:

    Comme cela tu sera tranquille ; le calme, la solitude, la sérénité ... :D

    / Fin mode taquin/

    Sinon, un robot de plus et c'est peut-être un visiteur de plus.

    Et comme la plus part des gens savent, 1+1+1+1+1+1 = de plus en plus !

    N'oublions pas que lorsque l'on se donne le mal de créer un site, puis de le référencer, c'est pour qu'il soit visité. :wink:

    Je pense que tu n'as pas la bonne approche. Si les autres robots ne t'apportent pas assez de visites, essaye de comprendre pourquoi et tente de corriger cela (facile à dire mais moins à faire).

    Allez, repos et bon week-end, Cordialement, Éric.
     
  4. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 357
    J'aime reçus:
    2
    Je suis justement en train de m'éclater à réduire ma bande passante :) Y'a énormément de solution avant même de supprimer les moteurs. Certes les moteurs sont très très gourmands, mais optimiser les requêtes et réduire la taille des images ou du code est plus... flatteur à mon avis.
     
  5. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    /Mode segolene

    La zenitude ...

    /fin mode segolene
     
  6. Dr DLP
    Dr DLP WRInaute impliqué
    Inscrit:
    29 Juin 2003
    Messages:
    525
    J'aime reçus:
    0
    Je suis tenté de répondre "Parce que personne n'utilise leur moteur".
    Le référencement est ok sur ces moteurs, mais pas les visiteurs, d'où cette déduction.

    Au final ce qui m'intéresse c'est de savoir, pour les personnes qui ont un pourcentage plus élevé de visiteurs venant des moteurs non Google, si cela est dû au fait qu'ils sont (relativement) mal référencés sur Google.

    En chiffres:
    69,38% en provenance de Google
    0.75% en provenance de Yahoo
    0.11% en provenance de Bing

    Bah... Je vais remettre Yahoo :lol:
     
  7. ricosound
    ricosound WRInaute occasionnel
    Inscrit:
    25 Octobre 2009
    Messages:
    447
    J'aime reçus:
    0
    Hello.

    C'est vrai que bing est d'une fiabilité très douteuse et que ses résultats sont passablement incohérents; je te vois pendant 15 jours, puis tu disparait 1 mois, puis on réapparait 2 jours ... :? :? :?

    Mais peut-être est-ce dû à la version béta toujours en phase de mise au point/rodage.

    Mais le moteur en lui-même consomme-t-il vraiment une bande passante significative ?

    A relativiser bien entendu avec les chiffres de fréquentation et leur impact.

    Cordialement, Éric.
     
  8. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    dis comme ca ... ca interpelle mais à bien y reflechir, dans des cas de sites spécifiques, moi je serais tenté de dire que c'est un arbitrage qui peut se défendre. Je pense notamment à un prochain site sur lequel je bosse actuellement et j'envisage très sérieusement de le laisser ouvert uniquement à gg ya et bing ...

    C'est un cas très spécifique aussi puisque mes previsions sont :

    - trafic très éclaté sur NN pays et surement pas un pays qui fera plus de 5 % du total
    - part des moteurs estimée une fois le site lancé à peut être 30 % maxi (j'espère bien que ca sera moins, donc les moteurs ...)
    - contenu massif et unique (dans la forme) mais difficile a protéger
    - trafic que j'espère a 4 ou 5 chiffres par jour

    Et donc effectivement dans ce contexte, virer d'un coup tous les sniffeurs et aspi de tout poils ... au prix de la perte marginale de quelques visiteurs d'un coté mais coté gain :

    - pas de pompage (va pomper 3 millions de pages à la main :)
    - économie maximale de ressources, donc meilleurs temps de réponse, donc meilleur indexation puisque cela va être ou est dans l'air du temps.
     
Chargement...
Similar Threads - Bloquer robots Google Forum Date
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble) Problèmes de référencement spécifiques à vos sites 14 Octobre 2014
Robots.txt : bloquer un seul répertoire Problèmes de référencement spécifiques à vos sites 15 Février 2014
Comment bloquer des url avec robots.txt ? Crawl et indexation Google, sitemaps 8 Novembre 2012
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Comment bloquer les pdfs dans le robots.txt Crawl et indexation Google, sitemaps 17 Janvier 2011
Bloquer les aspirateurs avec robots.txt Administration d'un site Web 19 Août 2009
Bloquer des urls via un robots.txt . est ce un problème ? Référencement Google 8 Juin 2009
Bloquer les pages recherche par robots.txt Problèmes de référencement spécifiques à vos sites 6 Mai 2009
Bloquer l'accés à des "sous-liens" en utilisant robots.txt Problèmes de référencement spécifiques à vos sites 5 Mars 2009
Bloquer flux RSS dans robots.txt ? Référencement Google 28 Décembre 2008
Bloquer index.php dans robots.txt Crawl et indexation Google, sitemaps 23 Septembre 2008
Bloquer robots sans en-têtes URL Rewriting et .htaccess 31 Août 2008
Probleme avec fichier robots.txt fichier bloquer Crawl et indexation Google, sitemaps 4 Septembre 2007
bloquer les robots et ne recevoir que les vrais utilisateurs Demandes d'avis et de conseils sur vos sites 17 Mai 2007
Utilisation de robots.txt pour bloquer les pages dynamiques Crawl et indexation Google, sitemaps 20 Septembre 2004
Astuce Bloquer ip utilisateur actions étranges sur mon site Le café de WebRankInfo 13 Août 2022
Bots scrapers et impact SEO : comment les bloquer ? Crawl et indexation Google, sitemaps 21 Mai 2022