Load balancing et duplication de contenu

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par Zodiaque, 10 Novembre 2010.

  1. Zodiaque
    Zodiaque WRInaute discret
    Inscrit:
    28 Juillet 2009
    Messages:
    129
    J'aime reçus:
    0
    Hello la communauté :)

    Je possède un blog qui propose de la video en stream. Pour des raisons de montées en charge mes vidéos sont dupliquées et hébergées sur des serveurs différents.
    Une même vidéo est ainsi présente sur http://www.exemple.com/video1, www1.exemple.com/video1, www2.exemple.com/video1

    Cette structure présente-t-elle à vos yeux une duplication de contenu et si oui comment avez-vous réglé ce problème ?

    Je précise que chacune de mes pages possède sa balise canonique.
     
  2. IllusionPerdu
    IllusionPerdu WRInaute discret
    Inscrit:
    11 Mars 2006
    Messages:
    130
    J'aime reçus:
    0
    Oui il y a une duplication de contenu ;)

    Pour résoudre se problème il faut faire le load balancing au niveau du serveur DNS c'est a dire que parfois pour le www il donne l'adresse d'une machine et l'autre fois il donne l'adresse d'une deuxième machine...
     
  3. tyv
    tyv WRInaute occasionnel
    Inscrit:
    6 Janvier 2006
    Messages:
    260
    J'aime reçus:
    0
    tu peux peut être regarder du coté de haproxy qui devrait répondre à tes besoins. En cherchant (très) vite sur google j'ai vu qu'il y avait pas mal de tutorial. De mémoire, il est très puissant et "relativement" simple à faire fonctionner.
     
  4. Zodiaque
    Zodiaque WRInaute discret
    Inscrit:
    28 Juillet 2009
    Messages:
    129
    J'aime reçus:
    0
    Merci à vous deux, terribles vos réponses ;-)
     
  5. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 579
    J'aime reçus:
    0
    Effectivement, un load-balancing DNS ou via un reverse proxy (haproxy, pound...) est probablement une meilleure idée. Sinon dans le pire des cas tu peux utiliser une balise <link rel="canonical" href="urldebase"> sur chaque page (qui indique par exemple le www).

    Jacques.
     
  6. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Jacques, www2 et www sont deux sites/domaines distincts pour Google et la balise canonical ne permet que de proposer une page en interne.
     
  7. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 579
    J'aime reçus:
    0
    Ce n'est pas ce que dit Google:

    Jacques.
     
  8. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Et bien je pense que c'est tout nouveau car jusque là, sauf erreur de ma part, ils indiquaient le contraire.
    Il est d'ailleurs indiqué (ainsi que sur la version française) "updated 10/11/2010 / Mise à jour 10/11/2010".
     
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 003
    J'aime reçus:
    128
    Sur leur blog ils donnent la date de mise en place de cette évolution :

    Et il me semble en plus qu'on en avait parlé ici
     
  10. Zodiaque
    Zodiaque WRInaute discret
    Inscrit:
    28 Juillet 2009
    Messages:
    129
    J'aime reçus:
    0
    Du coup quelle serait le contenu de ma balise canonique ?
    Pour l'instant je mets :
    <link rel="canonical" href="http://www.mondomaine.com/page.html" />
     
  11. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Ca alors, j'étais totalement passé à côté. Merci pour l'info.
     
  12. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 774
    J'aime reçus:
    0
    Au niveau d'un Load Balancing style HAProxy (qui est génial) ça risque de ne pas être adéquate pour ton utilisation (le support du keep alive n'est que récent et pour le streaming il me semble que c'est beaucoup mieux). Tu vas aussi avoir des communications entre tes serveurs inutiles :
    user => Load Balanceur => serveur choisi => vidéo => Load Balanceur User.

    A mon avis tu aurais à gagner (pour ton évolution future) à ne pas dupliquer le contenu (des vidéos) sur les deux serveurs, mais plutôt à les mettre sur un seul. Après dans ta base de données tu rajoutes un TINYINT ayant pour valeur 1 ou 2 (pour le moment) et quand tu mets ton player, tu SELECT en plus cet integer.

    Après ça va chercher sur le bon serveur.
    Ainsi pour la suite, de gagne de la place en stockage.

    Par contre si ton site marche très bien, tu pourrais mettre en place un Load Balanceur pour le site en lui même, pas les fichiers.
     
  13. Zodiaque
    Zodiaque WRInaute discret
    Inscrit:
    28 Juillet 2009
    Messages:
    129
    J'aime reçus:
    0
    Du coup quelle serait le contenu de ma balise canonique ?
    Pour l'instant je mets : <link rel="canonical" href="http://www.mondomaine.com/page.html" />

    Je vais en parler à l'admin des serveurs. Mais je ne pense pas que cela soit possible. La consommation dépasserait les 100Mbps sur un seul serveur
     
  14. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 774
    J'aime reçus:
    0
    Non, justement, tu économiserais même en BP. Tu n'aurais pas à mettre tes fichiers sur 2 serveurs (tu gagnes donc un transfert, mais à ton niveau ça doit être minime).
    Le principe, tu links tes vidéos en:
    -www<numéro du serveur ici>.ton domaine.
    Là où tu vas "t'amuser" c'est par contre "ajuster tes vidéos en fonction de leurs audiences":
    si toutes les vidéos qui fonctionnent sont sur le serveur1, le serveur 2 ne servira pas ;)
    Après c'est au moment de l'INSERT de jouer avec, mais normalement le "aléatoire" devrait marcher de lui même.
     
  15. Zodiaque
    Zodiaque WRInaute discret
    Inscrit:
    28 Juillet 2009
    Messages:
    129
    J'aime reçus:
    0
    Je me permets de relancer le sujet. La personne en charge des serveurs va lire ce post et me faire son retour. De mon côté j'aimerais creuser cette histoire de balise canonique.

    Avez-vous une idée à quoi pourrait ressembler ma balise canonique en tenant compte de mon premier post :

    .. et sachant qu'actuellement chacun des billets de mon blog possède déjà sa balise canonique.
     
  16. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 774
    J'aime reçus:
    0
    C'est sur ta vidéo elle-même :
    -www2.exemple.com/video1
    ta canonical sera : -www2.exemple.com/video1
    Pas sûr que ça soit possible.
     
  17. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 579
    J'aime reçus:
    0
    Euh... Le canonical de chaque page "dupliquée" doit être le même. Donc si la page -www/page est dupliquée sur -www1/page et -www2/page, sur les 3 pages tu mets le même canonical qui indique -www/page

    Jacques.
     
Chargement...
Similar Threads - Load balancing duplication Forum Date
load balancing Administration d'un site Web 19 Juillet 2010
L'offre de Load Balancing d'OVH Administration d'un site Web 18 Mars 2009
Load Balancing ? Administration d'un site Web 23 Octobre 2008
Load Balancing et Google Référencement Google 15 Septembre 2008
Load balancing et solutions à explorer... Administration d'un site Web 13 Mars 2008
Est-ce du load balancing? Administration d'un site Web 18 Janvier 2007
Load Balancing via une URL unique Administration d'un site Web 20 Octobre 2004
sécuriser upload fichier csv.gz Développement d'un site Web ou d'une appli mobile 9 Mars 2022
Javascript et preloader Référencement Google 16 Septembre 2021
Empêcher le download mais autoriser la lecture mp3 URL Rewriting et .htaccess 17 Août 2021
Erreur dans diagnostic Lighthouse : Registers an unload listener Débuter en référencement 29 Mai 2021
<noscript><link ...> du css après un <link rel="preload"... Débuter en référencement 1 Mai 2021
Link rel="preload" Débuter en référencement 15 Janvier 2021
Robot et loading="lazy" Débuter en référencement 10 Décembre 2020
Fractionner un fichier uploadé (slice/chrunk) Développement d'un site Web ou d'une appli mobile 2 Octobre 2020
Astuce img loading="lazy" supporté par Firefox ! Développement d'un site Web ou d'une appli mobile 16 Avril 2020
Contrat cession droit image upload formulaire de mon site Droit du web (juridique, fiscalité...) 2 Avril 2020
Parser un fichier xml : simplexml_load_file Développement d'un site Web ou d'une appli mobile 5 Avril 2019
Alternative à LOAD DATA LOCAL INFILE Développement d'un site Web ou d'une appli mobile 13 Mars 2019
Lazy Loading et SEO font-ils bon ménage ? Crawl et indexation Google, sitemaps 29 Janvier 2019