|
28/04/2004, 21h11
|
#1 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
logs: avancement des travaux
Salut,
Nous avancons les travaux sur les logs. Demain nous commencons la copie des données sur le nouveau filer ce qui prendra 2-3 jours. En suite seulement nous allons pouvoir decharger les logs non calculés jusqu'au là puis les calculer. Nous avons mis au point une nouvelle technologie pour decharger les logs de l'ensemble des machines. La techno OSL (OvhSpeedLog) nous permet vous proposer les logs en temps réel, c'est à dire que vous pouvez suivre l'activité de votre site quasi en temps reel (il y a environ 120 secondes entre le moment où un visiteur fait une requete sur votre site et le moment où vous avez les logs sur logs.ovh.net). Le calcul des statistiques se fera comme maintenant 1 fois par jour mais avec plusieurs logiciels ce qui vous permettra comparer les methodes des calcules. En attandant, les alertes au niveau d'overquota sont biensûr fausses (les logs restent sur les machines et donc le calcul prend en compte plusieurs jours des logs). On va déactiver les alertes demain. Dans tous les cas, dés que tous les travaux sur les logs seront finis, l'ensemble des offres evolueront. Nous ne limiterons plus en requetes par jour, mais en qualité des données transferées c'est à dire en Go/mois. Ceci vient du fait qu'on nous pose trop souvent les questions sur les requetes au niveau du support et donc nous allons "simplifier" les offres pour économier le support. Puis comme désormais la bande passante, les machines et la place physique n'est plus un problème pour nous, nous risquons mettre les limites très haute au niveau des offres. D'autres modifications dans les offres seront faits au même moment (ou seulement en juin après le transfert du mutualisé sur paris 19). Nous avons fait plusieurs travaux sur les serveurs d'emails aujourd'hui qui vont continuer encore demain et la semaine prochainne. L'objectif est de se debarasser définitivement des problèmes de lenteur par moment sur les emails. Ceci consistera tout simple à augmenter le coeficient de securité qui n'est plus suffisant avec le nombre des sites qu'on héberge. Amicalement Octave |
|
|
|
04/05/2004, 01h52
|
#2 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
La copie des fichiers avance: nous avons copié 400Go sur 450Go de data. On espere que ceci se finira demain soir et on pourra reprendre le retard dans le calcul des logs. Amicalement Octave |
|
|
|
|
05/05/2004, 20h46
|
#3 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
On a fini la mise en place des scripts et les testes. Actuellement on est en face de lancement des 4 scripts de decharges de logs en commençant par le script 4. C'est pourquoi vous pouvez voir un nouveau repertoire osl dans votre repetoire http://logs.ovh.net/votre-domaine/osl L'opération prendra encore 4h. Puis on lancera le script 3 puis 2 puis 1. Une fois que tout ceci sera en production, vous aurez les logs en temps réel. On laissera fonctionner le systeme pendant 24h puis on lui donnera à digerer les anciens logs pour les decharger des serveurs web. Puis on lancera calcul de ces logs. Amicalement Octave |
|
|
|
|
06/05/2004, 14h26
|
#4 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
OSL a été mis en place. Il permet une consultation des logs en quasi temps-réel (entre le moment où le visiteur est sur votre site et la presence des logs sur votre espace logs, il se passe entre 120 secondes et 5 minutes). Lorsque vous consultez la page des logs, vous pouvez voir un nouveau menu OSL et les logs bruts dedans en temps réel. Nous finissons les reconfigurations des machines pour faire une decharge rapide des logs. A la fin de la journée, tout devrait être déjà en temps réel avec un faible decalage. Nous allons à ce moment donner à digerer le decharge des logs en retard (il y a plusieurs jours). Le decalage augmentera à ce moment là. Puis nous allons lancer le calcul des logs avec urchin v3, urchin v5 et awstats. Le calcul des reverses sera ajouté une fois que tout le systeme fonctionnera parfaitement. En parallele, nous avons mis à jour tous les CPAN de perl sur l'ensemble des machines web/ftp. Amicalement Octave |
|
|
|
|
07/05/2004, 15h30
|
#5 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
Nous avons commencé la decharge des logs en retard via OSL (Ovh Speed Log). Vu qu'il y a plusieurs dizaines des jours ça va prendre un certain temps. Le temps réel ne sera pas assuré parfaitement. Il faudra attendre que tout soit vidé pour avoir à nouveau les logs en temps réel (apparament vous aimez cette fonctionnalité). En parallele, nous travailons sur une version GZIPé d'OSL. En effet, les visiteurs de vos sites (près de 75000 sites hébergés en mutualisé) generent environ 4000 requetes/secondes et les logs representent environ 9Mbps de flux en continue dans la journée. Ce n'est pas très grave. Mais ceci veut dire que le serveur de logs se prend 9Mbps d'écriture sur les disques. Pour eviter les pannes sur les disques qui vont arriver dans 2-3ans (le serveur a uen double RAID-5 avec les disques spares), on va essayer diminuer ce trafic en GZIPant toutes les données, y compris les écritures sur les disques. C'était juste pour information  Amicalement Octave |
|
|
|
|
11/05/2004, 00h17
|
#6 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
Une bonne partie des logs s'est dechargés ce week-end (250Go), mais il reste encore pas mal à decharger (120Go). Nous l'avons arreté pour avancer les autres travaux à savoir nous avons lancé un changement de format des fichiers de logs pour les rendre compatibles avec le nouveau systeme de calcul des logs. Cette opération prendra environ 24h (rename des fichiers logs ancien) et permettra reprendre calcul de n'importe lequel jour à n'importe lequel moment. Demain, nous allons relancer la decharge des logs qui devrait se finir fin de la journée. A ce moment là, on va lancer le calcul des logs en retard suivant avec le nouveau systeme. Le calcul prendra plusieurs jours. On voit le bout du tunel ... Amicalement Octave |
|
|
|
|
12/05/2004, 00h03
|
#7 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
Nous avons lancé le calcul des logs avec urchin v3 pour les logs déjà dechargés. ça se passe bien. Nous avons relancé la decharge des logs. Ils seront recalculés en suite (avec un systeme de reprise). On finit les testes sur urchin v5 et awstats et on lance les calculs des stats avec ces 2 logiciels. Amicalement Octave |
|
|
|
|
14/05/2004, 13h41
|
#8 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
un petit email au niveau d'avancement des travaux.
OSL est presque à jour. J'ai changé un timeout de 1 à 5 secondes au niveau de la decharge et ça fonctionne moins bien. Je viens de mettre 1 seconde à nouveau. Le calcul d'urchin est à asse-online.com et c'est dans l'ordre alphabetique. On est passé de 450Go à 1.1To de data sur logs. |
|
|
|
|
18/05/2004, 09h11
|
#9 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
Les logs se calculent. Nous avons environ 450Go de logs à traiter déjà prêts pour urchin + 350Go dans les repertoires OSL. Il y a 12 machines qui calculent les logs en parallele ce qui nous permet de faire environ 120Go de logs par jour. Mais ceci varie en fonction des domaines. Nous allons vous informer sur l'avancement demain ce qui nous permettra d'avoir une meilleur estimation. Amicalement Octave |
|
|
|
|
20/05/2004, 23h38
|
#10 |
|
Team OVH
Date d'inscription: février 2004
Messages: 144
|
Salut,
Nous avons ajouté encore 12 machines pour accelerer le calcul des logs. Ce qui fait qu'avec les 24 machines en parallele nous avons pu calculer les differentes lettres en parallele. Il ne reste plus que 24Go de log à calculer et 150Go de logs à compresser. On espere que demain matin ça sera fini (il reste que les domaines complexes à calculer et ça prend du temps). Les logs que nous avons calculé jusqu'au là concernent les dates jusqu'au 13 mai max (environ et ça depend des domaines). Dans vos stats urchin vous devez donc voir les stats pour ces jours là. Les logs qui ne sont pas encore calculés se trouvent dans votre repertoire OSL (ces logs ne sont pas encore compressés non plus, d'où la taille). Dés que le calcul en cours sera fini, nous lancerons le traitement de ces logs là (un petit 350-400Go, rien par rapport à 1.2To de logs déjà fait ...) et nous allons lancer le calcul urchin et compression. En 4 jours ceci devrait être fait, mais bon ça depend des domaines. En attandant, nous avons arreté le calcul de awstats. Même s'il prend moins de resources CPU, il prend quand même des resources disques. Nous allons relancer awstats dés que tout sera en temps réel. Les logs ne sont pas dans l'ordre dans une journée. L'opération prennait trop de temps. Nous l'avons enlevé en attandant de finir le calcul. Par contre, la decharge des logs continue à se faire se fait en temps réel (en fonction des resources disques utilisés. il peut y avoir 1h de retard). Amicalement Octave |
|
|
|
 |
| Outils de la discussion | |
|
|
