1. Bienvenue sur le nouveau forum WebRankInfo ! Si vous avez envie d'en parler, c'est ici :-)
    Rejeter la notice

Agence web Refus liste annuaire

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par omelhor, 29 Octobre 2013.

  1. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0
    Bonjour,

    J''ai fait appel il y a quelques mois a une agence web pour référencer 1 de mes sites

    Pour le moment, ils m'ont fait de la rédaction de contenu, recherches de backlink de site partenaires sur mon site qui n'existent plus.
    Ils me fournissent également un rapport de positions sur mots clés des principaux moteurs de recherches
    Et aussi soit disant du référencement sur "leurs annuaires". Quand je leur demande les annuaires concernés, ils me disent qu'il ne veulent pas. Ont 'ils le droit de refuser ?

    Merci beaucoup
     
  2. indigene

    indigene Nouveau WRInaute

    Inscrit:
    7 Septembre 2003
    Messages:
    3 247
    J'aime reçus:
    0
    Tout dépend du contrat
     
  3. Marie-Aude

    Marie-Aude Nouveau WRInaute

    Inscrit:
    5 Juin 2006
    Messages:
    18 363
    J'aime reçus:
    0
    un petit coup de ahrefs et tu devrais voir
     
  4. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0
    Sur le contrat il n'y rien spécifier ... Cela avait été juste dit oralement...
    En gros j'attend fin mars, j'envoie un recommande pour résilier et je prend une autre agence... J'ai l'impression de m'être fait avoir... Tant pis pour eux ils vont un très bon client...
     
  5. lecouti

    lecouti Nouveau WRInaute

    Inscrit:
    3 Janvier 2009
    Messages:
    1 561
    J'aime reçus:
    0
    Il me semble que Marie Aude t'a glissé une solution pour trouver tes BL, non ?
     
  6. Madrileño

    Madrileño Madribot

    Inscrit:
    7 Juillet 2004
    Messages:
    37 778
    J'aime reçus:
    7
    On a l'impression que c'est une blague, s'il refuse essayez d'avoir au moins des exemples en le contactant pour faire avancer le problème.
     
  7. kurapica

    kurapica Nouveau WRInaute

    Inscrit:
    24 Juillet 2006
    Messages:
    103
    J'aime reçus:
    0
    Un coup de majectic pour voir les backlinks et c'est réglés
     
  8. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0
    Je suis embêter

    ahrefs ou majesticseo.com ?

    Lequel préférez-vous ?
     
  9. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0
    Oui est elle me fait pas rire !!! c'est abusé surtout vue le prix que j'ai payé... Ils vont perdre un bon client
     
  10. lecouti

    lecouti Nouveau WRInaute

    Inscrit:
    3 Janvier 2009
    Messages:
    1 561
    J'aime reçus:
    0
    On a toujours l'impression d'être un bon client mais en définitive dans beaucoup de cas le prestataire s'en fout un peu. Sinon les deux sont bien et donnent des résultats cohérents. Essaies en mode gratuit les deux pour voir celui qui te convient le mieux.
     
  11. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    Je vous vends la mise en place de 100 affiches publicitaires, mais je ne peux pas vous dire où je vais les mettre.

    Vous préférez payer par virement ou CB ?
     
  12. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    d'un autre coté la liste d'annuaire c'est son fond de commerce, sinon ca serait trop facile a un concurent de prend un petit ref et de demander la liste.

    de nos jours, on peut pas faire 1 milliers d'annuaire automatique, faut selectionner les bon et ça prend du temps. c'est un peu comme si tu buvais du coca et que tu voulais la recette avec.
     
  13. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0

    Je vais les tester, c'est vraie que pour voir la différence il faut les essayer
    Merci
     
  14. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0
    Le plus important c'est déjà qu'ils me fournissent une facture pour ma boite. Après si j'ai le choix sans doute par virement
     
  15. zeb

    zeb Nouveau WRInaute

    Inscrit:
    5 Décembre 2004
    Messages:
    13 575
    J'aime reçus:
    0
    Si c'est que ça je peux t'en fournir une :D pour le montant je met ce que je veux ?
     
  16. Madrileño

    Madrileño Madribot

    Inscrit:
    7 Juillet 2004
    Messages:
    37 778
    J'aime reçus:
    7
    Voilà la blague dans l'ordre. :mrgreen: :arrow:
     
  17. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    j'aime bien rire, mais j'ai pas compris la blague 8O
     
  18. Madrileño

    Madrileño Madribot

    Inscrit:
    7 Juillet 2004
    Messages:
    37 778
    J'aime reçus:
    7
    Indice : Soumissions automatiques.

    Einstein a dit :
    Deux choses sont infinies : l'Univers et la bêtise humaine. Mais, en ce qui concerne l'Univers, je n'en ai pas encore acquis la certitude absolue.

    Il a toujours raison. :)
     
  19. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    je ne vois toujours pas la blague.
    Sinon, la citation c'est pour toi? car moi je te cite la méthode d'il y a quelques années, qu'on ne peu plus faire aujourd'hui, aujourd'hui il faut faire du manuel dans une poigné d'annuaire séléctionné soigneusement et redaction unique.
     
  20. Madrileño

    Madrileño Madribot

    Inscrit:
    7 Juillet 2004
    Messages:
    37 778
    J'aime reçus:
    7
    Pour faire plus simple (blague) :
    Il aurait été facile de vendre de la soumission, ne rien dire à la personne (refus de la liste) et faire que de l'automatique.

    Toute ressemblance avec des personnes existantes ou ayant existé n'est que pure coïncidence. :mrgreen:
     
  21. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    Ah oui, c'est la liste top secrète des annuaires qui te positionne premier sur Google, effet garanti. Je connais ce référenceur là. Alors oui, c'est normal de ne pas la donner.


    Non mais sérieusement, une liste d'annuaires, un fond de commerce ? On n'est plus en 2008 :roll:
     
  22. lecouti

    lecouti Nouveau WRInaute

    Inscrit:
    3 Janvier 2009
    Messages:
    1 561
    J'aime reçus:
    0
    L'expérience m'a appris à ne jamais travailler avec un partenaire en qui je n'avais pas totalement confiance. (règle qui, soit dit en passant, ne mets pas toujours mis à l'abris de déconvenues). Quoi qu'il en soit, la meilleure chose à faire pour Omelhor, s'il n'a plus confiance en son prestataire c'est de passer à autre chose.
     
  23. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    c'est plutot dans l'autre sens qu'il faut voir: les annuaires qui ne vont pas te faire perdre du temps car il valident jamais ou dans 1 an et les annuaire qui acceptent tout et qui risque de te pénaliser.

    de nos jours, le plus important, ce n'est pas arriver premier pour le réf, mais c'est de ne pas se faire avoir par pinguin :lol:

    et faire le trie, ça prend du temps, c'est une valeur ajouté par rapport à celui qui va te donner une liste de 1000 annuaires dont 80% sont abandonné et 10% sont des nids à spam/validation automatique.
     
  24. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    la tristesse, c'est que tu te fais toujours avoir par quelqu'un en qui tu as eu confiance :D
     
  25. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    Dans ce cas, la stratégie est simple, tu ne fais aucun lien et tu ne risque rien ;)
     
  26. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    c'est ce que cherche google, du vrai ref naturel, que le ref annuaire devienne obsolete et dangereux.

    pour la plupart des sites 10 ou 20 annuaires suffisent pour etre correctement placé avec un site de bon contenu et une concurrence moyenne ou faible.
     
  27. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    ...et pour les autres sites, 20 annuaires suffisent pour être filtré par Pingouin ?
     
  28. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    je sais pas ou tu veux en venir, mais chezmoicamarche.org

    tant mieux si tu utilise une mauvaise méthode, je te passerai devant :D
     
  29. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    Si à chaque refresh de Google Pingouin le site reste en place, ça te donne une bonne occasion de boire un coup pour fêter ça :)

    Mais moi, je te repasse devant facile en payant un peu d'Adwords :D Je vis avec mon temps 8)
     
  30. forummp3

    forummp3 Nouveau WRInaute

    Inscrit:
    8 Février 2004
    Messages:
    2 082
    J'aime reçus:
    0
    je suis sur le net depuis 2000, ça fait 13 ans que je me fais classer/déclasser, ça fait partit du "jeu" ma pauvre lucette.


    Après, il y a plusieurs type de sites, sur un site de jeux flash par exemple, je vois pas le modèle économique avec de l'adwords, on peu pas utiliser adwords n'importe ou, puis ça se trouve, c'est toi qui paye une partie de mes revenus :D

    enfin bon, c'est le contenu qui compte aussi, de la qualité, de l'unique et de la régularité.

    t'as beau etre le meilleur seo du monde (si ca existe), si ton site est vide ou nul, il aura pas de traf.
     
  31. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    Je me rends compte qu'on s'écarte complètement de la question initiale, donc dernière intervention pour moi hors sujet.

    Concernant les déclassements, c'est honnête de le dire. Personnellement, ce "jeu" ne m'amuse plus, mais ça n'engage que moi.

    Tiens, tu cites l'exemple des portails de jeux flash. Globalement, la plupart de ces sites sont des MFA sans réel intérêt où on retrouve toujours les mêmes jeux ? Non ? Parlons honnêtement.
    Je précise que j'ai moi même un site de jeux flash. Ce type de site fonctionnait bien avant. Par contre, est-ce que ce type de site a beaucoup d'avenir ?
     
  32. PaulDAF

    PaulDAF Nouveau WRInaute

    Inscrit:
    23 Novembre 2012
    Messages:
    66
    J'aime reçus:
    0
    Sage conseil. Des agences web, il y doit y en avoir plusieurs par jour qui se créent, il y a donc l'embarras du choix.
    La difficulté c'est de savoir sélectionner la bonne.
     
  33. ybet

    ybet Nouveau WRInaute

    Inscrit:
    22 Novembre 2003
    Messages:
    9 059
    J'aime reçus:
    0
    Pour relativer. Je suis une "agence web", mon boulôt consiste à faire monter le site: pas à donner mes techniques (y compris les liens qui sont envoyés vers le site): y compris ceux que j'envoie de mes propres sites.

    Je prend délibérément une position "pas très correctes" peut-être mais le but d'un prestataire est finalement le résultat.
    Dans le même style, j'engage une entreprise de maçonnerie pour un bâtiment, je lui demande pas les proportions de ciment dans le béton.
    Dans le commerce entre entreprises, il doit toujours y avoir une partie confiance. Le prestataire demande pas non plus à un site de vente en ligne le % de bénéfices supplémentaire du site (pour en demander une partie?). Et la majorité des entreprises sont généralement honnêtes:
    . un passage aux tribunaux (gagné ou perdu) c'est des frais.
    . un client mécontent, c'est au minimum un client perdu et au pire une très mauvaise publicité mais au milieu, il a pas de nouveaux clients envoyés par le premier.

    ... (pseudo) agence web ou pas!
     
  34. Marie-Aude

    Marie-Aude Nouveau WRInaute

    Inscrit:
    5 Juin 2006
    Messages:
    18 363
    J'aime reçus:
    0
    Si tu es rémunéré uniquement au résultat ça peut se concevoir.

    La confiance vient sur des bases :) pour moi les liens faits en font partie.

    Pourtant, de nombreux contrats prévoient ce genre de choses, dès qu'on sort du monde de l'autoentrepreneur et de la TPME ...

    Mais parfois incompétentes, quand on parle d'agences de ref.

    Par ailleurs, et toujours dans ce "thème", au moins une grosse agence française est connue pour "défaire" les liens des clients qui la quittent. Beaucoup plus difficile quand on a indiqué les publications au client...
     
  35. zeb

    zeb Nouveau WRInaute

    Inscrit:
    5 Décembre 2004
    Messages:
    13 575
    J'aime reçus:
    0
    :lol: triste réalité ....
     
  36. 1-sponsor

    1-sponsor Nouveau WRInaute

    Inscrit:
    27 Octobre 2006
    Messages:
    3 067
    J'aime reçus:
    4
    Personnellement, à mes clients, je vends mes prestations de service et mon expérience, pas mes secrets !
     
  37. Koxin-L.fr

    Koxin-L.fr Nouveau WRInaute

    Inscrit:
    15 Janvier 2012
    Messages:
    1 967
    J'aime reçus:
    0
    Seul un contrat avec garantie de résultats peut justifier la non divulgation des soumissions de BL, CP, etc...

    Un contrat de ref sérieux et honnête spécifie à date fixée par avance l'avancé des travaux et les travaux réalisés.

    Les outils comme majestic et autres fourniront une idée du netlinking sans apporter de réelle preuve du travail réalisé par la dite agence.
     
  38. ybet

    ybet Nouveau WRInaute

    Inscrit:
    22 Novembre 2003
    Messages:
    9 059
    J'aime reçus:
    0
    OK, il y a deux classes de réponses:
    1. les gros pros qui jouent les ténors pour des sites de 50.000 VU par jours (c'est un minimum dans ce cas) qui travaillent au doité ....
    2. les petits qui proposent de petites solutions rentables pour des PME (j'en récupère actuellement ... 100 € par mois pour le site et pas de visiteurs ... OU quelques centaines d'EURO pour un vrai travail: (pas forcément le design, c'est pas mon fort mais je m'améliore :mrgreen: mais des visiteurs et des retombées économiques pour la PME)

    Je travaille pas pour la première catégorie. Et dans la deuxième, ... ce sont les clients qui me remercient.
    Ca explique aussi les remarques de "Marie-Aude"

    PS: gentil pour majestic .... je le suivais de loins, mais maintenant, je sais qu'il va se prendre des erreur 403 sur mes sites (raz le bole de tous ces visiteurs inutiles)
     
  39. Koxin-L.fr

    Koxin-L.fr Nouveau WRInaute

    Inscrit:
    15 Janvier 2012
    Messages:
    1 967
    J'aime reçus:
    0
    Je ne bosse jamais avec garantie de résultat, j'explique la démarche, sans entrer dans le coté technique non par protection d'un secret, mais parce que les clients de captent rien, j'informe régulièrement du boulot effectué, comment il a été fait et quand, j'informe régulièrement des résultats, tout ca en fonction de ce qui est spécifié sur le contrat.

    Aucun client n'a pour le moment été déçu.
    Il ne comprennent pas forcément l'intérêt de certains travaux, mais sont content du bénéfice qu'ils en tirent.
     
  40. omelhor

    omelhor Nouveau WRInaute

    Inscrit:
    9 Février 2007
    Messages:
    297
    J'aime reçus:
    0
    Merci pour ce débat !! Je pense que cela m'a été très utile
    Afin de me faire vraiment une opinion sur ce référenceur, je vais faire appel a un outil comme majestic pour voir si de nouveaux liens apparaissent comme par magie !
    Voyons voir...
    Merci
     
  41. zeb

    zeb Nouveau WRInaute

    Inscrit:
    5 Décembre 2004
    Messages:
    13 575
    J'aime reçus:
    0
    +1 quand je regarde le "traf serveur" je me fait des cheveux blanc .... c'est allucinant la quantité de pages boufées par des automates ... Je ne parle même pas de tous les tocard du web qui te font un crawl pour avoir la liste de tes urls, les dindons qui pondent des site SEO de m*rd* en affichant leur calculs savant sur ton site etc ... Si on ajoute le spam dans le trafic réseau on arrive a ce paradox que c'est les machines qui causent entre elles et que de temps en temps il y a un humain qui consulte un site ....

    Le top du top ça reste (chez moi) Google et bing qui se tapent la part du lion ... si je peux pas les virer, je peux en tous cas dire que ce sont les plus gros pollueurs de la planète web.
     
  42. ybet

    ybet Nouveau WRInaute

    Inscrit:
    22 Novembre 2003
    Messages:
    9 059
    J'aime reçus:
    0
    :D

    Depuis quelques semaines, j'envoie à fait en 403 tout ce qui ressemble à une plage de serveurs (+ tout ce qui vient de Chine, Ukraine et Russie: à eux trois, c'était 1/3 des pages "vues" il y a seulement quelques semaines).

    PS: tu as oublié le bot de voila.orange.fr: 1 visiteur par mois du "moteur" et plus de 1000 pages vues par jour par le bot.
     
  43. zeb

    zeb Nouveau WRInaute

    Inscrit:
    5 Décembre 2004
    Messages:
    13 575
    J'aime reçus:
    0
    Lol non je ne l'ai pas oublié celui là il arrive en position 3/4 pour les "moteurs" mais je n'en parle pas car il est tellement a la ramasse de connerie que je fais comme si il existait pas :D
    Le bot en question crawl péniblement mes pages il me pompe 50 pages par ip et par jour, utilise une tétrachié d'IPs différente la ou GG n'en use que deux, bref il donne l'impression d'un rom qui fait la manche dans son coin du coup je l'ai pris en pitié et je le laisse errer dans les couloirs :lol:

    J'ai jamais compris pourquoi il y a pas un système de soumission international d'URLs nouvelles ou updatées qui permettrait de dégrossir un peu ce traf de fou inutile a 90% chez moi. Mon profil c'est surtout des updates de pages et 3/4 nouvelle pages par jour donc au mieux 10/20 pages a revoir, il serait beaucoup plus "green" d'être crawlé uniquement pour ces pages que de se taper ses pointes de conso électrique pour des clou.

    J'en discutait avec un ami cet après midi, il me disait qu'un degré de température en moins en France par rapport aux normale saisonnières c'était deux centrales nucléaires en plus qui tournent. Si on crawlait intelligent ça serait surement pas loin de 5/6 en moins (voir beaucoup plus) ...
     
  44. Marie-Aude

    Marie-Aude Nouveau WRInaute

    Inscrit:
    5 Juin 2006
    Messages:
    18 363
    J'aime reçus:
    0
    Juste deux questions :)

    1- vous vous plaignez de Google, et vous interdisez les bots qui permettent de voir les backlinks, ce qui veut dire que vous contribuez peu à peu à faire en sorte que Google soit une des seules sources possibles pour voir ses BLs. Et le jour où les BL disparaitront de GWT, comme les mots clés ont disparu d'Analytics, vous ferez quoi ?

    2-est-ce que vos sitemaps donnent une information correcte sur la dernière mise à jour, la priorité et la fréquence de crawl recommandée ? ça contribue généralement à orienter le crawl des bots
     
  45. zeb

    zeb Nouveau WRInaute

    Inscrit:
    5 Décembre 2004
    Messages:
    13 575
    J'aime reçus:
    0
    1/ je m'en moque des BL mis a part ceux que je fais aux endroits de qualité et ceux qui m'envoient du trafic (que je connais parfaitement > referer) les autres me sont d'une indifférence totale :D
    A décharge, bien que je sache que c'est important pour toi et que pour certains c'est un "art de vivre", on aurait pas moyen de connaitre les BL je ne suis pas certains qu'on s'en porterai plus mal (toute façon j'ai arrêté de les regarder comme la télé :D ).

    2/ je ne fait pas de sitemap mais je ping ... si GG et cie n'écoute pas au bout de la ligne j'en suis navré mais c'est déjà un signal très clair je pense que je prend le temps de faire (manuellement). Pour ce qui est de la fréquence de crawl GG me dit d'un ton péremptoire qu'il n'en a rien a faire de ma demande
    Je vois pas pourquoi je me casserait la nenette a remonter les urls fraiches a l'accueil si en plus je dois lui faire un sitemap. Les internautes eux ils trouvent (et ils ont pas tous un algo interne à 1000 milliards de dollars :D ) ...

    Je comprend ton point de vu mais même si tes arguments sont vrais c'est pas pour autant que le problème est gérable avec simplicité en l'état et c'est pas moi qui le gère c'est GG avec ses impératif, Bing avec d'autre, Orange qui lui comprend rien, si t'ajoute baidu (il passe chez mois de temps en temps c'est pas un sushi), le russe don j'ai oublié le nom, alexa la belle brune slave, Qwant qu'on attend encore, webarchive et tout je saint-frusquin, je persiste a penser qu'un "sitemap mondial" serait plus adapté. Après j'ai pas de chiffres mais j'ai besoin de 15/20 pages crawlé par jour au max là le serveur en prend 15000 dans la vue pour quedal, alors je pense surement que je peux améliorer les chose mais il faut qu'ils fouillent de leur côté car c'est pas très cohérent et c'est pas que de mon fait..
     
  46. Marie-Aude

    Marie-Aude Nouveau WRInaute

    Inscrit:
    5 Juin 2006
    Messages:
    18 363
    J'aime reçus:
    0
    Ce en quoi tu as tort :)

    Encore une fpis, on ne parle pas de Google, mais des autres robots :)

    Mais le protocole sitemap n'est pas propriétaire, il n'y a pas que Google qui l'utilise :)
     
  47. zeb

    zeb Nouveau WRInaute

    Inscrit:
    5 Décembre 2004
    Messages:
    13 575
    J'aime reçus:
    0
    Oui je veux bien te croire car ce n'est pas n'importe qui qui me le dit et que tu est fortement trustranké chez moi, mais sincèrement je le prend ou le temps ? Dans les priorités que je dois me fixer le linking et sa surveillance n'a pas de place. Et pour ce qui est des outils perfo pour ça c'est trop cher ...

    Oui d'accord avec ça mais ça devrait s'organiser autrement et a un niveau moins individuel. A titre perso pour extraire des bases toutes les urls du site c'est un travail de fou car pour beaucoup il faut que je calcule la profondeur des données afin de déterminer les URLs "suite" (qui obéissent pas toutes aux mêmes règles), j'ai des scripts frontaux qui gèrent des centaines voir milliers d'url (tout n'est pas en base clairement identifié sous forme de page), il n'est de plus pas question de faire ça en crawlant le site ... Si tu ajoute les maj a faire via cron (pour le moins) ça deviens de la conso pure délire de temps machine (si c'était une seule fois passe encore mais là c'est tous les jours).

    Mais on est d'accord sur un point je ne suis pas contre "faire en sorte que" mais pas de cette façon c'est absolument inadapté a mon cas perso (et je ne dois pas être le seul je pense tous ceux qui dev sur du code proprio doivent avoir a se creuser dur pour cette problématique). En attendant le seul premier "gros consommateur" ignore toujours les règles internationales de crawl définies simplement dans le robots.txt ... les autres ne pèsent pas assez pour que je face du cas individuel de google une priorité car ils respectent le "crawl delay" qui fixe une fois pour toute l'abus qui peut être fait des ressources.

    Bing a ce sujet fourni un outils graphique simplissime (en supplément) qui permet de fixer les quantités heure par heure ... ça me prend une minute de l'informer je le fais.
    GG lui :roll: (lui faut son petit sitemap a celui là qu'il aille au diable)
    Les autres respectent le robots txt car ils n'ont pas les moyens de faire autrement.
    ce qui reste ensuite ne sort que difficilement du lot trafic humain donc difficile de dire.

    Si le bot entre dans la catégorie "ne respecte pas le robots txt" et qu'en plus c'est de l'observation de BL ou de l'extraction auto de data pour un usage inconnu ils se prend une forbiden ...

    C'est ma façon de voir comme je te l'explique le sitemap s’imposerait chez moi que pour google et même si il est compris ailleurs les règles standard règlent le problème ce qui fait du sitemap un truc uniquement pour Google au final.
     
  48. ybet

    ybet Nouveau WRInaute

    Inscrit:
    22 Novembre 2003
    Messages:
    9 059
    J'aime reçus:
    0
    On va commencer par le début (personnellement mes blocages sont pires que ceux de Zeb): les robots
    1. les vrais moteurs de recherche comme Google, MSN, quant ... on va dire baidu et yandex ou même Exalead ou voila. Plus quelques rares je re rencontre dans mes suivi. Aujourd'hui sur un petit site, +http://law.di.unimi.it/BUbiNG.html (une unif italienne qui vient une fois tous les 3 mois visiter une ou deux pages), http://help.coccoc.com/vi (apparement un petit moteur turc en cours d'élaboration) ou même http://www.botje.com/plukkie.htm (de nouveau un petit nouveau qui "essaye" Belgique France, Netherlands ou allemagne. Tu remarquera que si je les vois dans mes logs visiteurs c'est qu'ils sont authorisés à passer.
    2. les pseudos moteurs (qu'ils acceptent ou non le robhot.txt d'aillieurs). Je viens justement d'interdire un de tes copain (sans doute) 199.187.122.91 qui était en train sur un site de bouffer 20 pages à la minute. Petite analyse: Sheer explore (il ne s'en cache pas, la page est directement accessible par l'adresse IP). Header: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) (ca ressemble furieusement à un simple Windows) .... Tu demande une analyse de site et à la troisième page, il te demande ta carte de crédit (c'est valable pour les autres aussi).
    Chezz moi, ca donne http://myip.ms/view/ip_addresses/3350952448/199.187.122.0_199.187.122.255
    et en htaccess: toute les plages de l'hébergeur:
    #
    C'est idem pour un paquet de ces "sites": mystic visite AUSSI avec un Header bricolé.
    3. Tout ce qui essaye de te piquer ton contenu pour analyse ou reproduction sur leurs sites. (en tout ou en partie).
    La catégorie 2 fait pprobablement la même chose: sauf que pour l'instant, il ne l'on pas encore monayé.
    Dès que je vois un bricolage sur un de mes sites: je vire la plage! Tout ce qui vient d'un serveur est une source de nuisance pour le contenu
    Et j'utilise pas de sitemap .....
    1/3 de la production d'électricité mondiale est utilisée par Internett (et je suis pas ecolo) maiss ca suffit.