OVH Community, votre nouvel espace communautaire.

Load balancing (travail de plusieurs serveurs en équipe)


Milhau
13/03/2005, 09h39
Salut,
en fait en terme de repartition de charge, tu peux avoir une machine qui fasse ce travail la en amont, mais ca se place au niveau routage.
Par contre ce que tu peux mettre en place c'est au niveau des dns, tu fais du roadroaming (desole pour l'orthographe).

Tu mets plusieurs serveurs apache en frontal, un gros mysql que tu peux doubler, tripler,.. avec des esclaves pour les lectures (mais j'ai eu des pb de stabilité).

Et tu fais un montage assez simple.

La problématique a apprécier c'est le nombre de modifs que tu vas apporter a tes fichiers de base (html, php, images..) si ton site a bcp d'images ou pas (tu peux faire un serveur pour les images aussi).

Si tu ne fais pas evoluer trop souvent tes fichiers alors un rsync par mois/jour/demi-journée/heure peut-etre suffisant.

Ensuite, pour tes logs, tu fais remonter chaque nuit les logs vers un serveur, tu les fusionnes et tu les remets dans l'ordre, et puis tu les traites.

Voila.

A+
Christophe

Aymerick
09/03/2005, 19h11
Désolé de relancer ce vieux sujet, mais j'aimerais connaître un détail :
OVH écrivait :
Il faut savoir que la repartition de charge en elle-même n'est pas un problème technique très complexe. C'est même très simple.
Quel système de répartition de charge est utilisé par OVH, svp ?

Et si possible, depuis combien de temps, et pour quel raison, ce système et pas un autre ?

Merci,
Aymerick.

i-services
22/02/2004, 18h17
Il existe des solutions basées sur rsync pour les transferts des données mais travailer avec NFS devient vite necessaire. Qui dit NFS, dit problème de sécurité et dit UDP et donc beaucoup de bande passante. Il faut donc un vlan pour séparer les machines.

qu'y a-t-il comme autre solution (simple et gratuite) pour remplacer NFS ?

car visiblement meme sur le meme switch ça pose pas mal de problèmes quand il y a beaucoup de connexions

thomas.egli
22/02/2004, 17h10
Bonjour à tous,
Bonjour l'équipe OVH,

Je suis allé voir sur le site d'Alinka, c'est vraiment tip top ce qu'il faudrait, plutôt qu'une répartition des TCP.

Qu'est-ce que vous en pensez vous ? Vous êtres allé à leur rencontre ? Car en tant que client hébergé chez OVH il me serait un peu fastidieux de leur demander de rajouter un serveur à côté du mien, ou de vous commander le PC et de faire le vidage, puis le reremplisage dudit serveur.

A mon avis, Alinka pourrait-être un partenaire très avantageux d'OVH.

Je suis impatient d'avoir des nouveles à ce sujet ;-)
Thomas

thomas.egli
14/02/2004, 21h29
Ouh punaise

je veux ça ;-)

L.Boggio
14/02/2004, 19h38
thomas.egli écrivait :
Sinon,j'ai aussi entendu parler d'autre chose. D'un véritable travail d'équipe, et ça, je crois même que ça se fait courrament.. (??) qui fait que les ordinateurs se filent du boulot en fonction de qui a de l'espace RAM disponible...

L'une de ces deux idées ne pourrait-elle pas être réalisable ?

Bon week-end
Thomas
J'ai déja assisté il y a 3 ans à une démonstration faite par la société Alinka qui faisait exactement ce genre de travail.

Un pc était rajouté au cluster en quelques minutes grace à un CD de boot, et récupérait tout de suite le travail en soulageant ses collégues en fonction de leurs capacités matérielles.

Daweb
14/02/2004, 19h19
Et vu votre niveau, si vous parlez de beaucoup de compétance, je peux aller me coucher si je veux faire l'équivalent un jour

Dans tous les cas, beaucoup de sites ont la base de donnée qui charge beaucoup.

Finalement la BDD (Mysql par exemple) sur un serveur, et Apache sur l'autre, 'est ce pas une solution idéale ?

Cela dit, ça ne permet pas de monter en charge en rajoutant facilement des serveurs...

thomas.egli
14/02/2004, 16h41
Mais n'y a-t-il pas plusieurs manière de concevoir le travail de plusieurs ordinateurs en groupe ?

Ce que vous décrivez est une équipe d'ordinateurs miroirs qui prennent chacun une partie des requêtes. Mais ne peut-on pas imaginer autrement. Par exemple, dans le cas de 3 ordinateurs, on pourrait en avoir un qui fait la relation tcp tandis qu'un second s'occupe de processer, et un troisième avec un gros disque dur, de fournir et récupérer l'information.

A ce moment là, plus de problème de devoir avoir les 3 informations identiques, mais oui, en effet, il doit bien y avoir d'autres soucis.

Sinon,j'ai aussi entendu parler d'autre chose. D'un véritable travail d'équipe, et ça, je crois même que ça se fait courrament.. (??) qui fait que les ordinateurs se filent du boulot en fonction de qui a de l'espace RAM disponible...

L'une de ces deux idées ne pourrait-elle pas être réalisable ?

Bon week-end
Thomas

OVH
14/02/2004, 15h03
Il faut savoir que la repartition de charge en elle-même n'est pas un problème technique très complexe. C'est même très simple.

Ce qui cache la foret c'est le fait qu'une requête d'un visiteur sur un site peut tomber sur 2 voir plus machines. Il est donc indispensable que les informations stockées sur les 2 machines soient les mêmes. Il existe des solutions basées sur rsync pour les transferts des données mais travailer avec NFS devient vite necessaire. Qui dit NFS, dit problème de sécurité et dit UDP et donc beaucoup de bande passante. Il faut donc un vlan pour séparer les machines.

Pour NFS il faut utiliser un serveur NFS. ça existe sous linux ou freebsd mais n'est pas très très stable (enfin ça depend ce qu'on en fait). Si le filer est en panne, tout est en panne. Et donc la repartition de charge ne sert à pas grande chose. Chez OVH, nous utilisons les filers NFS (netapp) qui coutent très cher mais qui sont extrement stables. La sortie totale des filers (NFS) tourne à environ 250Mbps alors que la sortie des web vers l'internet n'est "que" de 180Mbps (hébergement mutualisé uniquement).

C'est pourquoi nous avons travailé sur une solution supercluster qui un melange de serveur nfs clusterisé et le serveur web clusterisé. La solution fonctionne et très bien (sql-gratuit.com). Le problème est que son administration necessite beaucoup des competances. On ne peut pas donc la commercialiser dans l'état.

kakou
14/02/2004, 13h53
ah ben moi je suis bien intéressé de savoir comment vous configurez ca !

c'est pas que j'en aie besoin mais juste pour voir comment ca se fait

-NC-
14/02/2004, 08h51
hehe moi je suis tres interesse sur le plan technique, je ne me suis pas penche bcp sur la question, mais j'aimerai en savoir plus, tu peux envoyer tes sources stp ?

p0il
14/02/2004, 02h08
J'ai en projet un gros site qui va demander beaucoup de puissance car il y aura (je touche du bois) beaucoup de visites.

Moi j'ai prevu de mettre en place un LVS (www.linuxvirtualserver.org). J'ai appele OVH aujourd'hui, et ils m'ont effectivement confirme qu'ils ne proposaient pas ce genre de solutions, mais que si je voulais la mettre en place seul, ca ne posait pas de probleme particulier.

Donc en gros, tu loues tes machines, tu demande a les avoir en VLAN, et tu mets les mains dans le cambouis pour faire marcher ta ferme de serveurs.

Moi ca me va comme solution, car de toute facon, ca m'interresse de savoir mettre en place ce genre d'architecture.

Voila les infos que j'ai, maintenant, j'ai rien installe encore, donc je n'ai aucun retour d'experience a te donnner...

thomas.egli
14/02/2004, 00h11
Bonjour,

Il y a quelques temps, je discutait de la possibilité d'assembler plusieurs superplan en répartition de charge plutôt que de monter en puissance, car cette solution de travail de plusieurs serveurs en commun est bien plus avantageuse autant financièrement qu'en termes de résultats techniques.

Il m'a été donné de lire deux ou trois courriers qui disent que c'est assez difficile à mettre en oeuvre, dont le suivant :

------------------------
> Et question à 2 sous... serait-il possible de coupler deux superplan ensemble, en les fais
> ant travailler copain-copain pour doubler la capacité processeur ?

Oui, mais vous allez avoir du trafic entre les serveurs ? Sinon cela s'appelle du load balancing, ce n'est pas forcément évident à configurer :/

> Avez-vous une config' toute prête pour faire ce genre de chose ?

Malheureusement non, pas encore du moins, mais nous étudions des solutions de ce type.

> Parce que le résultat pourrait être très intéressant (voire même plus efficace qu'une seul
> e grosse machine), et au final pour moins cher (et très intéressant pour améliorer étape d
> e croissance après étape de croissance, car on peut en rajouter un par un, mois après mois
> ...).

Exactement, nous y travaillons mais le projet est assez lourd à mettre en place.

------------------------------


Si la technique est un peu chaude à mettre sur pied pour n'importe qui, certains laboratoires ont tout de même obtenu des résultat parfois hallucinant d'après ce que j'ai pu lire de ci de là dans la presse scientifique, et finallement, quelle socité est mieux placée que OVH pour se lancer dans une telle offre ?!

Je suis particulièrement intéressé par cette possibilité. Aussi, si quelqu'un s'y intéresse aussi, je suis intéressé d'échanger avec lui. Si OVH recherche des testeurs, je suis également présent.

Amicalement
Thomas