Gestion de crise

Gestion de Crise : l'hébergeur OVH s'est-il véritablement préparé à gérer le pire ? Un cas d'école !

OVH, leader européen de l'hébergement, a connu ce matin une  des plus importantes pannes de son histoire mettant à l'arrêt de nombreux sites clients. L'origine tiendrait au cumul de "deux événements simultanés et indépendants" selon l'opérateur :

• la perte d'alimentation électrique  dans deux unités du datacenter de Strasbourg qui gère au total 140000 serveurs,
• un bug logiciel sur les équipements optiques qui a entrainé la perte de la configuration et la coupure de la connexion entre le noeud de Roubaix et plusieurs points d'interconnexion européens

La conjugaison de ces deux événements malencontreux remet en cause les promesses client affichées par l'hébergeur et sont de nature à affecter durablement sa réputation. L'hypothèse d'une cyber-attaque ne peut à ce stade être totalement écartée.

1. La promesse d'infrastructures à haute disponibilité

OVH se targue sur son site institutionnel d'offrir "un concept global de datacenters dont elle maîtrise tous les paramètres et de disposer d’un savoir-faire unique en matière de haute disponibilité, de sécurité et de performances énergétiques".

Pour illustrer la haute disponibilité de ses infrastructures, OVH met notamment en avant une "double alimentation électrique systématique, des onduleurs de 250 KVA chacun, des groupes électrogènes d’une autonomie initiale de 48h, 2 arrivées réseau minimum jusqu’au datacenter ; à l’intérieur, 2 salles réseau jumelles capables de prendre le relais l’une de l’autre, des capacités réseau avancées : connectivité 10Gb+ et 40Gb+ sur réseau principal".

Couplé à des certificats de conformité à des standards internationaux de sécurité  (ISO 27001:2005 pour la fourniture et l’exploitation d’infrastructures dédiées de Cloud Computing ; ISO 27002 et ISO 27005 pour la gestion de la sécurité et l’appréciation des risques et traitements associés, attestations SOC 1 et 2 type II pour 3 datacenters en France (dont Strabourg 1) et 1 au Canada attestant du niveau de sécurité de sa solution Cloud Privé, cet argumentaire a de quoi ôter tout doute sur la parfaite résilience des infrastructures informatiques et télécoms d'OVH.

1. Une réputation entachée par l'amateurisme qui se dégage de la gestion de crise de l'hébergeur.

Durant les premières heures de cette crise, Octave Klaba, dirigeant d'OVH, s'affiche comme le premier étonné de  la vulnérabilité des infrastructures et systèmes, multipliant les points d'exclamation après le rappel de la déficience des équipements de sécurité déployés par l'hébergeur.

Il publie le 8 novembre à 23h15 un tweet qui dénote une communication de crise peu maîtrisée : "Nous avons un souci d'alimentation de SBG1/SBG4. Les 2 arrivées électriques EDF sont down (!!) et les 2 chaines de groupes électrogènes se sont mis en défaut (!!!). L’ensemble de 4 arrivées elec n'alimentent plus la salle de routage. Nous sommes tous sur le problème."

S'il n'est pas très fréquent que deux arrivées électriques sur des lignes à 20000 volts flanchent au même moment, la seconde  ayant pour objet d'assurer la redondance de l'autre en cas de panne, ce type d'incident n'est pas exceptionnel, nous l'avons déjà constaté lors de la gestion de plusieurs crises de nature équivalente. Il est cependant plutôt rare, s'ils ont été correctement testés, que tous les groupes électrogènes se mettent en défaut au moment où ils sont appelés à prendre le relais des arrivées déficientes ! Certains évoquent la loi des ennuis (!) maximum. D'autres une forme d'amateurisme dans la préparation à la gestion de situations de crise de haute intensité. Normal, l'occurence du risque est infinitésimale et cela n'arrive par ailleurs qu'aux autres. Rappelons-nous l'assurance des dirigeants de Fukushima sur le niveau de sécurité des installations ... 

A 23h50, Octave Klaba tweete : "En plus de souci sur SBG (datacenter de Strasbourg, nous avons le souci sur le réseau optique en Europe qui interconnecte RBX (Datacenter de Roubaix)  et GRA(Datacenter de Gravelines) avec les POP. Il est down (!!)." Suit un nouveau tweet à 00h35 : "RBX: all optical links 100G from RBX to TH2, GSW, LDN, BRU, FRA, AMS are down."

A 1h18, Octave Klaba nous apprend que : "SBG: 2 routing rooms are UP powered by gen. EDRF still down. ETA: 15min RBX: the DB of the optical node in RBX is corrupted. All links are still down. We upload the backup. ETA: 30min". Il arrive que le chargement d'une nouvelle version d'un logiciel conduise à des effets indésirables sur l'équipement concerné ou des effets collatéraux sur d'autres équipements ou systèmes en réseau.Une telle situation amène le plus souvent à prendre la décision de revenir à une version antérieure, stable, du logiciel. Ce qu'a du faire OVH et qui aurait pu être évité par un test approprié de la nouvelle version logicielle avant mise en production. La disparition d'une base de données complète de configuration laisse toutefois songeur...

Les réactions des clients ne tardent pas à se manifester :

"Ça commence a vraiment faire long et la perte d'emails sur nos VPS de SBG est ultra problématique et remet en question notre engagement avec OVH", ...

Même si OVH s'engage dans un dernière communiqué à respecter les pénalités contractuelles prévues (SLA : Service Level Agreement), nombreux clients  ne manqueront pas de tirer les conclusions que sous-tend cette nouvelle panne.

1. Les conséquences d'une cyber-attaque ?

Dans l'attente des résultats d'investigations plus poussées, la défaillance simultanée d'équipements critiques de deux importants opérateurs d'infrastructure, ERDF d'un côté, OVH de l'autre, conjuguant une altération du fonctionnement du noeud de connexion de Roubaix à une perte globale d'approvisionnement électrique du site de Strasbourg, avec de surcroît déficience des groupes de secours, ne saurait écarter l’hypothèse de cyberattaque ayant pour finalité de tester l'interdépendance de composants ciblés de notre chaine de résilience nationale.

Pour le moins, le retour d’expérience que l’hébergeur tirera de cette nuit agitée devrait l’amener à engager un projet d’amélioration de ses dispositifs et pratiques de gestion et de communication de crise, à revoir son plan de continuité d'activité et à établir un plan d’action en vue de renforcer la robustesse de ses infrastructures et systèmes de secours.