Devops for Growth

L’outil informatique est de plus en plus présent au sein des unités de stérilisation. Son utilisation permet de simplifier et sécuriser le processus en assurant une traçabilité des différentes étapes. Pour faire face à un dysfonctionnement, une procédure de mode dégradé doit être rédigée afin de maintenir l’activité. Ce travail se propose de présenter un exercice de « simulation » de notre procédure de mode dégradé. La première étape a été de formaliser, par une procédure, l’organisation de l’activité en cas de dysfonctionnement informatique. Puis, sans que le personnel soit au courant, l’exercice a été réalisé. Au terme de cet exercice, un débriefing avec l’ensemble des intervenants a permis d’apporter les corrections nécessaires. La simulation d’une panne de notre outil informatique a permis de mettre en évidence certaines difficultés d’application de la procédure initiale. Des éléments se sont avérés difficiles à mettre en œuvre en condition réelle. Les retours du personnel ont donc conduit à une nouvelle mise à jour du document. Cet exercice a permis de vérifier la bonne application et la connaissance de notre organisation en cas de panne de l’informatique. Les retours positifs de cet entraînement de la part du personnel confirment l’intérêt de pratiquer régulièrement ce type de simulation.

Vous pouvez commencer par annoncer que vous allez tout casser en production, que ça va être fun ! Soit la méthode dit des « Gros Sabots ». On va vous voir venir de loin, mais à part faire du bruit…

Cet article s’insère dans notre série « Chaos Engineering ».

Le contexte

Les architectures applicatives actuelles s’éloignent de plus en plus d’une structure en blocs monolithiques, pour s’orienter vers des architectures basées sur de la composition de services et structurées en systèmes distribués, notamment par l’utilisation des micro-services.

Les applications basées sur ces architectures proposent des fonctionnalités provenant de l’interaction de leurs composants, et de la bonne collaboration de l’ensemble des composants.

Les composants de ces architectures peuvent se compter par centaines, ce qui apporte des problématiques de gestion applicatives de plus en plus liées aux systèmes distribués, et acquièrent des propriétés similaires à celles des systèmes complexes.

Outre une meilleure compréhension du travail des exploitants par les développeurs, cette démarche a permis à OUI.sncf de renforcer la résilience de son infrastructure de production à plusieurs niveaux. « Nous avons reproduit une panne qui était survenue il y a 5 ans, une panne que nous avons baptisée Irma », souligne Benjamin Gakic. « Il y a 5 ans, nous avions mis 1 heure pour la détecter et la résoudre. Cette année, elle l'a été en moins de 10 minutes. En termes de volume d'affaires que cela représente, c'est très significatif. » Une autre illustration de l'amélioration de la résilience le la production du site concerne sa dépendance vis-à-vis d'un partenaire jugé peu stable. « A chaque incident chez ce prestataire, nous perdions des sessions. La mise en place d'un circuit breaker nous a permis de réduire d'un facteur 40 l'impact de cette instabilité. Là encore, c'est très significatif », résume l'expert en sûreté de fonctionnement.

Désormais, le Chaos Monkey entre peu à peu dans les habitudes du site. Si au premier raid des minions sur le système d'information de Voyages-SNCF tout le monde était prévenu, ce n'est plus le cas aujourd'hui : « Désormais nous exécutons un Chaos Monkey chaque trimestre et on n'a plus de différence entre l'incident de production et le Chaos Monkey », confie Christophe Rochefolle. « Les exploitants ne sont plus informés qu'un Chaos Monkey est en cours. Par contre, il y a une trace que le Chaos Monkey est lancé. Mais nous ne les lançons pas les jours où nous réalisons 20 millions d'euros de chiffre d'affaires ! »

Building confidence in system behavior through experiments

Conceptualisée à l'origine par Netflix, la méthode consiste à introduire régulièrement des pannes volontaires dans les systèmes informatiques pour tester et valider leur robustesse.

Creating a successful chaos practice isn’t purely an engineering problem. As with many aspects of cloud native computing, it requires buy-in across the organisation. In this eMag we’ve pulled together a variety of case studies to show mechanisms by which you can do so, even in tightly regulated industries where you might face considerable opposition.

Chaos Engineering is a software engineering methodology or philosophy that asserts the importance of stress testing your software infrastructure. First developed by Netflix in 2011, it has grown to prominence in more recent years with the wider adoption of cloud and microservices.

This eMag will inspire you to dig deeper into your systems, question your mental models, and use chaos engineering to build confidence in your system’s behaviors under turbulent conditions.

A curated list of Chaos Engineering resources. Contribute to dastergon/awesome-chaos-engineering development by creating an account on GitHub.