Les fichiers robots.txt avantagent Google

Discussion dans 'Référencement Google' créé par lululelutin, 21 Novembre 2007.

  1. lululelutin
    lululelutin WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    60
    J'aime reçus:
    0
  2. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 062
    J'aime reçus:
    0
    Selon l'article ce sont les webmasters qui décident de favoriser Google. On ne devrait pas confier un site Web à un webmaster :)
     
  3. Szarah
    Szarah WRInaute accro
    Inscrit:
    22 Février 2006
    Messages:
    6 037
    J'aime reçus:
    1
    Je ne vois pas d'où l'article explique que GG serait avantagé.
    Que 4 sites sur 10 disposent d'un robots.txt, c'est intéressant à savoir.
    Et que un certain nombre (on ne dit pas combien) de ces robots.txt excluent les petits robots pour ne laisser que GG, Y! et Live, ok.
    Mais combien de ce %tage inconnu de 40% de sites robotextés filtrent Y! et Live pour avantager GG, l'article n'en dit rien.
    Curieux article.

    Edit : l'original en anglais est tout aussi vague.
    Il faudrait lire l'étude.
     
  4. Charles (W.E.B)
    Charles (W.E.B) Nouveau WRInaute
    Inscrit:
    11 Novembre 2007
    Messages:
    27
    J'aime reçus:
    0
    J'ai pas trop compris la logique de l'article non plus.

    Et je vois pas pourquoi qui que ce soit filtrerait un robot de moteur de recherche intentionnellement :?:
     
  5. Szarah
    Szarah WRInaute accro
    Inscrit:
    22 Février 2006
    Messages:
    6 037
    J'aime reçus:
    1
    Certains robots sont gourmands en ressources-serveurs pour peu de visibilité au final, certains webmasters préfèrent les écarter.
     
  6. 5_legs
    5_legs WRInaute passionné
    Inscrit:
    30 Avril 2006
    Messages:
    1 551
    J'aime reçus:
    0
    En fait c'est le titre qui est ambigu

    Dans les fichiers robots.txt, on remarque prioritairement Google alors oui
    Dans les fichiers robots.txt, on filtre les autres pour avantager Google, j'en doute.
     
  7. frangolacci
    frangolacci WRInaute occasionnel
    Inscrit:
    26 Février 2006
    Messages:
    363
    J'aime reçus:
    0
    Les filtres robots.txt ne sont pas là pour "avantager google", simplement pour éviter de se faire bouffer de la bande passante par des moteurs qui n'ont aucun intérêt (=> qui n'envoient pas de visiteurs). Voir par exemple le fichier robots.txt de wri, qui interdit un paquet de site.

    Cela dit les moteurs et aspirateurs font ce qu'il veulent, rien ne les obligent à suivre les recommandations du fichier robots.txt . Pour vraiment bloquer un site il vaut mieux interdire l'ip grâce au htaccess.
     
Chargement...
Similar Threads - fichiers robots avantagent Forum Date
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Sitemap et fichiers Robots.txt des sites.google.com Débuter en référencement 10 Mars 2012
Robots.txt et ht access à propos des fichiers d'un repertoire Débuter en référencement 2 Mai 2011
2 fichiers robots.txt -> deux fichiers sitemap. C'est bon? Problèmes de référencement spécifiques à vos sites 30 Mars 2009
Interdire téléchargement fichiers Demandes d'avis et de conseils sur vos sites 18 Juillet 2019
Envoi de fichiers volumineux par email (plusieurs Go) Le café de WebRankInfo 19 Juin 2019
WordPress Désindexation des fichiers "attachements" dans Google ? Référencement Google 2 Novembre 2018
WordPress Comment modifier l'identité du site dans les fichiers ? Problèmes de référencement spécifiques à vos sites 23 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice