Les fichiers robots.txt avantagent Google

Discussion dans 'Référencement Google' créé par lululelutin, 21 Novembre 2007.

  1. lululelutin
    lululelutin WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    59
    J'aime reçus:
    0
  2. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 053
    J'aime reçus:
    0
    Selon l'article ce sont les webmasters qui décident de favoriser Google. On ne devrait pas confier un site Web à un webmaster :)
     
  3. Szarah
    Szarah WRInaute accro
    Inscrit:
    22 Février 2006
    Messages:
    5 997
    J'aime reçus:
    1
    Je ne vois pas d'où l'article explique que GG serait avantagé.
    Que 4 sites sur 10 disposent d'un robots.txt, c'est intéressant à savoir.
    Et que un certain nombre (on ne dit pas combien) de ces robots.txt excluent les petits robots pour ne laisser que GG, Y! et Live, ok.
    Mais combien de ce %tage inconnu de 40% de sites robotextés filtrent Y! et Live pour avantager GG, l'article n'en dit rien.
    Curieux article.

    Edit : l'original en anglais est tout aussi vague.
    Il faudrait lire l'étude.
     
  4. Charles (W.E.B)
    Charles (W.E.B) Nouveau WRInaute
    Inscrit:
    11 Novembre 2007
    Messages:
    26
    J'aime reçus:
    0
    J'ai pas trop compris la logique de l'article non plus.

    Et je vois pas pourquoi qui que ce soit filtrerait un robot de moteur de recherche intentionnellement :?:
     
  5. Szarah
    Szarah WRInaute accro
    Inscrit:
    22 Février 2006
    Messages:
    5 997
    J'aime reçus:
    1
    Certains robots sont gourmands en ressources-serveurs pour peu de visibilité au final, certains webmasters préfèrent les écarter.
     
  6. 5_legs
    5_legs WRInaute passionné
    Inscrit:
    30 Avril 2006
    Messages:
    1 521
    J'aime reçus:
    0
    En fait c'est le titre qui est ambigu

    Dans les fichiers robots.txt, on remarque prioritairement Google alors oui
    Dans les fichiers robots.txt, on filtre les autres pour avantager Google, j'en doute.
     
  7. frangolacci
    frangolacci WRInaute occasionnel
    Inscrit:
    26 Février 2006
    Messages:
    360
    J'aime reçus:
    0
    Les filtres robots.txt ne sont pas là pour "avantager google", simplement pour éviter de se faire bouffer de la bande passante par des moteurs qui n'ont aucun intérêt (=> qui n'envoient pas de visiteurs). Voir par exemple le fichier robots.txt de wri, qui interdit un paquet de site.

    Cela dit les moteurs et aspirateurs font ce qu'il veulent, rien ne les obligent à suivre les recommandations du fichier robots.txt . Pour vraiment bloquer un site il vaut mieux interdire l'ip grâce au htaccess.
     
Chargement...
Similar Threads - fichiers robots avantagent Forum Date
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Sitemap et fichiers Robots.txt des sites.google.com Débuter en référencement 10 Mars 2012
Robots.txt et ht access à propos des fichiers d'un repertoire Débuter en référencement 2 Mai 2011
2 fichiers robots.txt -> deux fichiers sitemap. C'est bon? Problèmes de référencement spécifiques à vos sites 30 Mars 2009
[Résolu] Fichiers robots.txt Débuter en référencement 7 Février 2008
Fichiers robots.txt Débuter en référencement 11 Décembre 2006
2 noms de domaines et les fichiers robots.txt ? Débuter en référencement 13 Septembre 2006
Plusieurs fichiers robots.txt sur un même hébergement? Référencement Google 10 Janvier 2006
Fichiers robots.txt et connexion Débuter en référencement 6 Juin 2005
Exclure les robots des fichiers de log IIS Administration d'un site Web 20 Janvier 2005
Hébergeur pour streaming de petits fichiers audios Administration d'un site Web 29 Juin 2022
Les fichiers sur archive.org sont-ils du domaine public ? Droit du web (juridique, fiscalité...) 14 Juin 2022
Comment ajouter le tag GA4 sur 7000 fichiers ? Google Analytics 10 Avril 2022
fichiers PDF non adaptés aux mobiles Débuter en référencement 17 Novembre 2021
Astuce Solution de Stockage de Fichiers sur mon Domaine Développement d'un site Web ou d'une appli mobile 15 Octobre 2021
Référencement - nom des fichiers images Débuter en référencement 22 Septembre 2021
problème lors de l indexation de mes fichiers Crawl et indexation Google, sitemaps 15 Août 2021
problème avec l indexation de mes fichiers Problèmes de référencement spécifiques à vos sites 8 Août 2021