OVH Community, votre nouvel espace communautaire.

Incident Datacentre BHS: 2 novembre


Oles
30/04/2016, 10h36
Bonjour,
Nous venons de finir le 2eme chemin entre BHS et Newark,NJ / New York,NYC.
Les travaux ont pris plus de temps que prevu à cause de toutes les autorisations
nécessaires pour effectuer les travaux sur le frontière entre Canada et USA. Et
maintenant c'est fait: nous avons 2 fibres optiques totalement différentes entre
BHS et NWK/NYC. 2 chemins differents qu'on allume en 100G DWDM. Si l'un
de chemin est coupé, les 100G basculent vers le 2eme chemin en 20ms.

J'ai commencé ce projet en Septembre 2011 et on est en Avril 2016. C'est de
loin le plus long et le plus complexe projet que j'ai eu à gérer. 9 mois de
négociation, 2 ans pour avoir le 1er chemin et encore 2 ans encorre pour
avoir le 2eme chemin. Et maintenant nous avons quelque chose d'unique
pour un acteur Canadien. Aujourd'hui, nous avons 6x100G et nous allons
ajouter encore de la capacité pour alimenter notre datacentre de BHS en
bande passante à partir de Montreal, Toronto, New York, Newark et Chicago.

Les travaux sur BHS vers Chicago avancent bien. Ca y est, nous avons tout
le chemin et nous sommes en train de le mettre en place avec à nouveau
une soudure de fibre complexe à la frontière entre Detroit,MI et Windsor.
Cette fois ci en plus de gérer toutes les autorisations sur la frontière, il faut
gérer le tunnel en dessous d'une rivière. En attendant, nous allons allumer
BHS / Toronto et nous allons les prolonger jusqu'au Chicago,IL avec des
waves 4x100G Toronto/Chicago. Ceci nous permettra d'attente la fin de
travaux sur Detroit.

En parallèle, nous avons commencé les investigations pour le réseau entre
NYC/Newark,NJ et Ashburn et Chicago. Pour alimenter notre Datacentre
d'Ashburn en bande passante, nous sommes en train de construire 2 nouveaux
POP à Ashburn qui vont être connectés à Newark/NYC et Chicago. Grâce
à ce réseau qui verra le jour en Q2'2017, nous allons ajouter de 100G entre
BHS et ASH en direct et nous allons sécuriser BHS/CHI par BHS/NYC/ASH/CHI.

Les 2 DCs seront donc toujours connectés au reste de la backbone quelque
soit la coupure de fibre optique.

C'est un projet stratégique d'une valeur supérieur à 25Me. C'est grâce à ce type
de projet qu'Ovh est capable de fournir les services de haute qualité à un coût
très bas. Bien sûr pour compenser tous ces couts il faut chercher les serveurs
par milliers, dizaines de milliers, centaines de milliers. Merci à tous nos clients
pour la confiance que vous nous accordez.

Amicalement
Octave

Oles
04/11/2015, 15h48
Bonjour,
Ce Lundi 2 novembre, le Datacenter de BHS a subi un nouveau problème de
réseau impactant l'ensemble des clients du Datacentre BHS. Comme il y a
5 mois, il s'agit de la coupure de nos 3 paires de fibres optiques entre
Beauharnois et Montréal, sur le chemin Nord.

Il y a 2 ans, nous avons lancé les travaux pour créer la redondance sur ces
103 km par la boucle Sud, mais ces travaux ont pris beaucoup de retard :
24 mois au lieu de 12 mois prévus. Ils se sont terminés seulement cette
semaine et, dans l'urgence de la panne, nous avons forcé la mise en production
de cette nouvelle fibre optique Sud ce qui a réduit la durée de la panne de
10h51 à 4h55 pour le réseau public.

Désormais le Datacentre est connecté en totale redondance par la boucle
Nord et par la boucle Sud. Nous avons 5 directions : 2 vers New York, 1 vers
Chicago et 2 vers Montréal.

Nous continuons les travaux pour améliorer la 2e route vers New York où
il ne reste plus qu'à souder la fibre optique sur la frontière Canada/USA,
3 ans après le démarrage du projet. Puis nous continuons les négociations
pour connecter Toronto à Détroit,MI.

Voici à quoi ressemble aujourd'hui notre réseau connectant BHS.
Nous avons en propre (les fibres noires et notre réseau DWDM):
- 4x10 Gbps entre BHS et Montréal via la boucle Nord
- 4x10 Gbps entre BHS et Montréal via le boucle Sud
- 6x100 Gbps vers New York/Newark via la boucle Sud
et nous avons en location :
- 10x10 Gbps vers Chicago via la boucle Sud
- 20x10 Gbps vers Newark via la boucle Nord
- 4x10 Gbps vRack vers Londrès (par Canada) via la boucle Sud
- 4x10 Gbps vRack vers Paris (par USA) via la boucle Nord

Sous 3-4 semaines, nous allons terminer la 2e route en propre vers
New York/Newark et nous allons activer le failover optique de
6x100 Gbps à travers les 2 chemins BHS/NYC-NWK. Ceci nous
permettra de mettre fin à la location de 20x10 Gbps vers Newark.

Nous allons augmenter la capacité Montréal/Chicago à 2x100 Gbps
puis 4x100 Gbps en attendant de terminer la route en propre entre
BHS vers Chicago par Toronto/Détroit. Nous n'avons pas encore
d'ETA sachant qu'il nous manque 800km entre Toronto et Détroit,MI
et que nous avons déjà BHS vers Toronto et Detroit,MI vers Chicago,IL.

En parallèle, nous travaillons sur le réseau aux USA entre New York
et Newark,NY puis Chicago,IL et Ashburn,VA. Ce nouveau réseau USA
prévu pour Q2 2016 sera déployé en propre et nous permettra de faire
la redondance de BHS vers Chicago par New York mais aussi de
connecter un nouveau Datacentre aux USA.

Nous sommes sincèrement désolés pour cette nouvelle panne de BHS.
Nous avons sous-estimé le temps et la complexité des projets de
construction de réseaux en fibre optique au Canada et du coup nous
avons pris un retard non-raisonnable dans la sécurisation de chaque
kilomètre connectant le Datacentre BHS. Même si aujourd'hui, ça y est
c'est fait, nous sommes 100 % redondés, nous sommes vraiment tristes
de l'annoncer dans ce genre de circonstances.

Sous 10 jours; nous vous préciserons la procédure d'indemnisation
conforme à nos SLA pour le mois de novembre.

Les heures exactes de l'incident :
- Coupure à 11h53 GMT-5 (17h53 GMT+1)
- à partir de 16h48 GMT-5 (22h48 GMT+1), le trafic depuis le Datacentre
BHS vers le réseau public est revenu à la normale grâce à la fibre optique Sud
- en revanche, les liens entre BHS et les autres Datacentres d'OVH ainsi que
le VAC (Anti-DDoS) ont, eux, été impactés jusqu'à la réparation complète
de la fibre Nord. Et le trafic a pu reprendre à 22h44 GMT-5 (04h44 GMT+1).

Amicalement
Octave