Devops for Growth
112.1K views | +2 today
Follow
Devops for Growth
For Product Owners/Product Managers and Scrum Teams: Growth Hacking, Devops, Agile, Lean for IT, Lean Startup, customer centric, software quality...
Curated by Mickael Ruau
Your new post is loading...
Your new post is loading...

Popular Tags

Current selected tag: 'test'. Clear
Scooped by Mickael Ruau
July 29, 2020 2:05 AM
Scoop.it!

La pyramide des tests par la pratique (1/5) | OCTO Talks !

La pyramide des tests par la pratique (1/5) | OCTO Talks ! | Devops for Growth | Scoop.it
No comment yet.
Scooped by Mickael Ruau
June 10, 2020 3:22 AM
Scoop.it!

Uncovering the Real Cost of Quality: 1-10-100-1,00-10,000

Uncovering the Real Cost of Quality: 1-10-100-1,00-10,000 | Devops for Growth | Scoop.it
Kevin Lee, Industry Solutions Consultant, Pilgrim Quality Solutions Can you capture or even approximate the cost of quality defects? Is it possible to put a price on a true or potential product recall? For manufacturers whose products can mean the difference between life and death, the cost
No comment yet.
Scooped by Mickael Ruau
March 16, 2020 3:31 AM
Scoop.it!

Mutation Testing, un pas de plus vers la perfection | OCTO Talks !

Mutation Testing, un pas de plus vers la perfection | OCTO Talks ! | Devops for Growth | Scoop.it

Il n’est plus à prouver l’utilité des tests unitaires. Ils sont essentiels dans la conception d’une application de qualité. Mais, savons-nous quantifier leur pertinence, leur qualité ?

Un indicateur de couverture du code par les tests à 100%, ne signifie pas du code 100% testé. Cet indicateur ne détermine que  grossièrement le pourcentage de code exécuté lors du passage des tests unitaires, pas plus.

Voici une technique qui vous permettra d’accorder plus de confiance à vos tests.

Le processus de cette technique se déroule en deux grandes étapes : la génération de mutants, puis le carnage de ceux-ci. WTF ?

No comment yet.
Scooped by Mickael Ruau
March 13, 2020 2:29 AM
Scoop.it!

Mutation Testing – Vérifiez la qualité de vos tests unitaires

Mutation Testing – Vérifiez la qualité de vos tests unitaires | Devops for Growth | Scoop.it
Vos tests unitaires sont-ils fiables ? Dans cet article nous allons voir comment s’en assurer
Mickael Ruau's insight:

Les tests de mutation sont un moyen simple et efficace de détecter la fiabilité des tests unitaires. La couverture de code n’est pas une métrique très fiable, un code peut être couvert à 100% sans une seule assertion ! Nous avons vu avec Humbug que nous pouvons automatiser ces tests, il devient alors possible de les greffer dans notre workflow d’intégration continue. Attention toutefois au temps d’exécution qui grandit de manière exponentielle lorsque la base de code grandit, on utilisera en priorité les tests de mutation là où il y a un véritable enjeu : le code métier.

No comment yet.
Scooped by Mickael Ruau
March 11, 2020 10:24 AM
Scoop.it!

Qualification de logiciel.

L'élaboration d'une stratégie de test logiciel. La stratégie est le résultat d'une part de principes généraux avec des objets et des niveaux de tests impliquant des critères d'acceptation et d'autre part du projet avec des livrables impliquant une analyse du risque. La gestion de configuration. La démarche de test. La mise en œuvre.
Mickael Ruau's insight:

 

1. L'élaboration d'une stratégie de test logiciel.

 

2. La gestion de configuration.

 

3. La démarche de test.

 

4. La mise en oeuvre.

 

No comment yet.
Scooped by Mickael Ruau
March 10, 2020 8:59 AM
Scoop.it!

AFSY - Association Francophone des Utilisateurs de Symfony - calendrier de l'avent 2017 - Jour 18 - Structurer sa démarche de test

AFSY - Association Francophone des Utilisateurs de Symfony - calendrier de l'avent 2017 - Jour 18 - Structurer sa démarche de test | Devops for Growth | Scoop.it
L'AFSY est un groupe d'utilisateurs francophones du framework qui a pour objectif de promouvoir l'usage de Symfony en milieu professionnel et universitaire
Mickael Ruau's insight:

 

Tester une seule et unique assertion par test permet d'obtenir des tests simples et bien ciblés, il sera donc plus facile de détecter une erreur dans nos tests. Ce n'est toutefois pas toujours simple, et très difficilement mesurable de manière objective.

C'est là qu'interviennent les tests de mutation.

Le principe : faire muter le code couvert par des tests unitaires, puis jouer les tests et compter le nombre de mutants qui n'ont pas été détectés.
Quelques exemples de mutation :

  • supprimer un « return » ;
  • transformer une addition en soustraction ;
  • inverser le sens d'une condition, d'un incrément, d'une assertion, …

Dans notre cas, la première méthode de test (qui ne teste rien) n'échouera pas si on transforme l'addition en soustraction. La deuxième, par contre, échouera (et permettra de détecter la mutation).

La librairie Humbug permet de le faire en PHP.

 

Tester une seule et unique assertion par test permet d'obtenir des tests simples et bien ciblés, il sera donc plus facile de détecter une erreur dans nos tests. Ce n'est toutefois pas toujours simple, et très difficilement mesurable de manière objective.

C'est là qu'interviennent les tests de mutation.

Le principe : faire muter le code couvert par des tests unitaires, puis jouer les tests et compter le nombre de mutants qui n'ont pas été détectés.
Quelques exemples de mutation :

  • supprimer un « return » ;
  • transformer une addition en soustraction ;
  • inverser le sens d'une condition, d'un incrément, d'une assertion, …

Dans notre cas, la première méthode de test (qui ne teste rien) n'échouera pas si on transforme l'addition en soustraction. La deuxième, par contre, échouera (et permettra de détecter la mutation).

La librairie Humbug permet de le faire en PHP.

No comment yet.
Scooped by Mickael Ruau
February 13, 2020 4:53 AM
Scoop.it!

eBook Archives

eBook Archives | Devops for Growth | Scoop.it
Mickael Ruau's insight:
 

Test Management

Kolb’s Testing Cycle

Beren Van Daele

We humans are a learning species. It comes natural to us and just because it feels so easy to do, we are ignorant of its inner workings. When faced with…
Read More +
 

DevOps

DevOps & Test Automation

Sune Engsig

With automation technology, the potential for digital transformation is essentially unlimited. But somewhere down the line something went wrong. A piece of code broke, leaving automation software in the dark,…
Read More +
 

People / Skills

How can you spread your testing efforts over a test object in such a way that testing will be an optimal mix of effectiveness and efficiency? Using the quality-risk-level you…
Read More +
 
 

Test Automation

Seven Proven Ways to Ruin Your Test Automation

Seretta Gamba

There are plenty of books, blogs, talks etc. that teach how to do good test automation. The problem comes when trying to convince management to support these efforts. Showing them…
Read More +
  
Storytelling is a well-known term in testing as well as in other areas. This e-book tells the story of how one company increased their quality of delivery when they used…
Read More +
The EuroSTAR Best Paper 2018 was awarded to James Christie for his paper Facing the Dragons, Dealing with Complex Unknowable Systems. We are delighted to present it to you as…
Read More +
 

Test Automation

How to Keep Your Test Automation Suite Fit

Bas Dijkstra

Bloated Automation? For many software-producing organizations, test automation is—or is quickly becoming—a cornerstone of their software development processes. Development teams are increasingly relying on automated checks to ensure that software…
Read More +
Numerous software development models, used to depict and explain the arrangement of the software development activities, have been created over the years. These models range from waterfall to whirlpool (also…
Read More +
 
 

Agile Testing

TMMi in the Agile Era

Erik van Veenendaal

This e-book introduces the reader to the TMMi model for test process Improvement. Today TMMi is the most commonly used model, and as such the de-facto standard, for test process…
Read More +
 
 

Functional Testing

Test Techniques For The Test Analyst

Erik van Veeneddaal

Test techniques have been around for many years. They are used explicitly or implicitly by most testers. There are many sources of information with respect to test techniques, their methods…
Read More +
 
 
 

People / Skills

Why We Make Mistakes; Human Error & Cognitive Biases

Dr. Andrew Brown

Awarded EuroSTAR Best Paper 2017 Why do developers create software bugs, and why do testers fail to find them? Is the best way to improve the quality of our software…
Read More +
 
 

Agile Testing

A Pattern Language for Agile Roadmapping

Luke Hohmann

Successfully managing the relationship between business and technology is a daunting task faced by all companies in the twenty-first century. Beyond Software Architecture is a practical guide to properly managing this mission-critical…
Read More +
 
 

Agile Testing

Structured Conversations

Seb Rose & Gaspar Nagy

Written by the creator of SpecFlow and the author of The Cucumber for Java Book, this the “The BDD Books: Discovery” will give the reader the inside information on how…
Read More +
No comment yet.
Scooped by Mickael Ruau
February 12, 2020 11:16 AM
Scoop.it!

User Testing Articles, Videos, Reports, Training Courses, and Online Seminars by NN/g

User Testing Articles, Videos, Reports, Training Courses, and Online Seminars by NN/g | Devops for Growth | Scoop.it
Mickael Ruau's insight:
  • Qualitative vs. Quantitative UX Research

    February 7, 2020 | 4 minute video

    Qualitative and quantitative methods both have their place in user research, but they address different issues in the UX design process. Understand the differences to pick the right method to learn what you need.

     

 

  •  
  • 3rd Pillar of Usability Testing: Skilled Facilitator (video 3 of 3)

    December 27, 2019 | 3 minute video

    To get useful and valid results from a usability study requires a skilled facilitator who avoids biasing the test while ensuring that the users are comfortable. And who can interpret the participants' actions and statements correctly.

     
  •  
  • 2nd Pillar of Usability Testing: Appropriate Tasks (video 2 of 3)

    December 13, 2019 | 3 minute video

    To learn something useful from a usability study, you must have the test participants perform tasks that are representative of typical user goals, while avoiding bias caused by giving too detailed directions or hints.

     
  •  
  • 1st Pillar of Usability Testing: Typical Users (video 1 of 3)

    December 6, 2019 | 2 minute video

    The foundation of valid usability studies is to recruit representative test participants: you should test with users from your target audience.

     
  •  
  • Usability Testing 101

    December 1, 2019 | Article: 6 minutes to read

    UX researchers use this popular observational methodology to uncover problems and opportunities in designs.

  •  
  •  
  •  
  • ‘But You Tested with Only 5 Users!’: Responding to Skepticism About Findings From Small Studies

    February 24, 2019 | Article: 7 minutes to read

    “That’s just one person” and “Our real users aren’t like that” are common objections to findings from qualitative usability testing. Address these concerns proactively to ensure your research is effective.

  • Formative vs. Summative Usability Evaluation

    January 4, 2019 | 3 minute video

    Usability testing and other UX evaluation methods can be divided into two major categories: formative evaluation and summative evaluation. Both have their place, but at different stages in the design lifecycle, and they have different characteristics, for example in the number of test participants needed for a good study.

  •  
  • Usability Testing with 5 Users: Information Foraging (video 3 of 3)

    December 21, 2018 | 3 minute video

    Usability testing is similar to how wild animals hunt for food: we're trying to hunt down the design flaws in the user interface and must optimize a series of studies for total gain, rather than spend too much on any one study.

  •  
     
  •  
  •  
  • Usability Testing with 5 Users: ROI Criteria (video 2 of 3)

    November 16, 2018 | 3 minute video

    The number of test participants for qualitative usability testing that optimizes return-on-investment is determined by 2 parameters: the facilitator's observational skills and the design team's speed when generating the next design iteration.

 

No comment yet.
Scooped by Mickael Ruau
January 13, 2020 3:36 AM
Scoop.it!

Tests unitaires

Tests unitaires | Devops for Growth | Scoop.it
Les plus beaux et complexes ouvrages sont composés de pièces individuellement fiables. Cette page vous permettra de comprendre la nature et l'intérêt des tests unitaires en génie logiciel.
No comment yet.
Scooped by Mickael Ruau
December 30, 2019 5:39 AM
Scoop.it!

How to Use Test Data for Increased Software Quality

How to Use Test Data for Increased Software Quality | Devops for Growth | Scoop.it
Test data is a major influencer of test reliability and should be the main concern of the people involved in writing the tests.
No comment yet.
Scooped by Mickael Ruau
November 22, 2019 10:13 AM
Scoop.it!

TestLink Tutorial Series For Beginner to Advanced

TestLink Tutorial Series For Beginner to Advanced | Devops for Growth | Scoop.it
TestLink is one of the most commonly used test management tool. Even it is open source tool, but it supports almost all features which commercial tool provides. It supports maintaining both requirements specifications and test specifications.
No comment yet.
Scooped by Mickael Ruau
November 18, 2019 5:28 AM
Scoop.it!

Automated Testing for Terraform, Docker, Packer, Kubernetes, and More: Yevgeniy Brikman at QCon SF

At QCon SF, Yevgeniy Brikman presented "Automated Testing for Terraform, Docker, Packer, Kubernetes, and More". Key takeaways from the talk included the recommendation to use an appropriate mix of all testing techniques discussed, such as static analysis, unit tests, integration tests, and end-to-end tests.
No comment yet.
Scooped by Mickael Ruau
October 23, 2019 4:21 AM
Scoop.it!

Cheap user testing

Talk donné à Blend Web Mix 2015 et Agile France 2016
No comment yet.
Scooped by Mickael Ruau
June 25, 2020 4:47 AM
Scoop.it!

End-to-End Testing Automation Essentials - DZone - Refcardz

End-to-End Testing Automation Essentials - DZone - Refcardz | Devops for Growth | Scoop.it
E2E testing exercises an application in the same manner a user interacts with the system, and involves all components — such as hardware, networks, external services, and configuration that would be seen in a production environment. This is a long manual process that requires significant effort. Then came E2E automated testing, providing the same level of functional validation performed by a computer, but in a dramatically shorter amount of time. In this Refcard, we evaluate E2E testing automation, processes, and key benefits upon adoption.
No comment yet.
Scooped by Mickael Ruau
April 20, 2020 2:15 AM
Scoop.it!

Want to speed end-to-end testing? Don't send in the clones

Want to speed end-to-end testing? Don't send in the clones | Devops for Growth | Scoop.it
Using too many production clones in testing can create problems. Here's how to slim down your tests.
No comment yet.
Scooped by Mickael Ruau
March 14, 2020 4:30 AM
Scoop.it!

Mutation testing - Wikipedia

Mutation testing

Mutation testing (or mutation analysis or program mutation) is used to design new software tests and evaluate the quality of existing software tests. Mutation testing involves modifying a program in small ways. Each mutated version is called a mutant and tests detect and reject mutants by causing the behavior of the original version to differ from the mutant.

No comment yet.
Scooped by Mickael Ruau
March 12, 2020 1:27 AM
Scoop.it!

Mutation testing, enfin une bonne mesure de la qualité des tests ?, R…

On écrit tous des tests (n’est-ce pas ?), mais comment savoir s’ils sont utiles ?

- Par leur nombre ? Faux, beaucoup de tests ne garantissent pas que l’application fonctionne correctement
- Avec une bonne couverture du code ? Encore faux, mieux mais pas suffisant

L’important est d'être confiant sur la capacité des tests à détecter les problèmes (c’est pourquoi en TDD un test doit échouer au début, pour etre sur qu’il teste bien quelque chose). Laissez-moi donc vous présenter le mutation testing ! Cette technique modifie votre code, lance les tests et s’attend à ce qu’ils échouent. Si non, c’est que cette partie est mal testée… Dans ce talk je détaillerai les principes du mutation testing, expliquerai comment l’utiliser sur un projet scala et montrerai les résultats obtenus sur un projet réel.

No comment yet.
Scooped by Mickael Ruau
March 11, 2020 5:14 AM
Scoop.it!

Les meilleures pratiques du test logiciel

Les différents niveaux de tests

Tout d’abord, notons que les tests logiciels se font en général à plusieurs niveaux. On distingue potentiellement quatre niveaux de tests :

  • Les tests unitaires, qui sont menés par le développeur lui-même, et qui consistent à vérifier la bonne exécution des fonctions dont il a la charge. Ces fonctions sont testées de manière indépendante, souvent avec des données réduites. Il est souhaitable de définir très tôt des jeux de tests représentatifs, car le développeur pourra réaliser les tests unitaires sur cette base et la qualité en sera améliorée.
  • Les tests d’intégration, qui sont menés par un testeur dédié, au sein de l’équipe de développement ou d’une équipe qualité travaillant en coopération étroite. La particularité de ces tests est que ceux-ci visent à tester la mise en commun de plusieurs composants et l’enchaînement de processus complets au-delà des simples fonctions unitaires. On parle parfois de tests en boîte blanche, dans la mesure où l’on est amené à regarder les relations entre les composants pour vérifier leur bonne coopération. Là encore, la disponibilité de jeux de tests tôt dans le cycle est un facteur important d’efficacité.
  • Les tests du système complet ou la qualification, qui consistent à dérouler des scénarios complets, représentant les cas d’utilisation du logiciel, sans se préoccuper de l’implémentation ou des composants sous-jacents. On est alors dans une logique de boîte noire, et il est fortement recommandé que l’équipe qui réalise ces tests soit distincte de l’équipe de développement. Elle peut même parfois être mise en “ off-shore ” ce qui a le mérite de nécessiter un formalisme assez détaillé, et de pousser à une bonne description de l’ensemble des scénarios d’utilisation. Lors de l’évolution du système, on rejouera ces scénarios afin de valider la non-régression.
  • Les tests d’acceptation, menés avec des utilisateurs pilotes, afin de valider l’adéquation du logiciel au métier et sa facilité d’adoption par ceux qui devront l’utiliser régulièrement. De la même manière, associer très tôt les utilisateurs à une première portion du logiciel permettra de connaître les critères d’acceptation par les utilisateurs, et, au besoin, d’ajuster certains choix par exemple ergonomiques.
Mickael Ruau's insight:

Par ailleurs, on distingue des tests différents par leur nature

No comment yet.
Scooped by Mickael Ruau
February 14, 2020 1:04 AM
Scoop.it!

10 Best Practices for Usability Testing within Agile Teams

10 Best Practices for Usability Testing within Agile Teams | Devops for Growth | Scoop.it
10 Best Practices for Usability Testing within Agile Teams
No comment yet.
Scooped by Mickael Ruau
February 13, 2020 1:02 AM
Scoop.it!

The 1-page usability test plan

The 1-page usability test plan | Devops for Growth | Scoop.it
The Usability Test Plan is a critical document to help you manage and organise a usability test. But it can sometimes appear too documentation-heavy in agile environments. What would a usability test plan look like if it was re-envisioned as a single page?
No comment yet.
Scooped by Mickael Ruau
January 13, 2020 3:38 AM
Scoop.it!

Organisation d'une recette

La recette est souvent qualifiée de « projet dans le projet », pour en souligner l'importance de cette phase dans les projets informatiques. Cette page présente les caractéristiques et le déroulement d'un projet de recette fonctionnelle.
No comment yet.
Scooped by Mickael Ruau
January 3, 2020 1:40 AM
Scoop.it!

Testing Patterns and Anti-Patterns

Testing Patterns and Anti-Patterns | Devops for Growth | Scoop.it
Mallory Mooney discusses patterns for testing that have been established as good practice as well as those that should be avoided.
Mickael Ruau's insight:

Alister Scott, a core contributor to the Watir community, wrote an article about the dangers of inverting that pyramid and relying heavily on UI and manual testing alone. In his article, he mentions how easy it is to channel all of a team’s focus for testing to just manual and automated UI tests. He coins this inverted visual “the software testing ice-cream cone.” The ice cream cone is considered an anti-pattern as it is an inefficient model for testing. When there are large suites of automated UI tests then the majority of a team’s time is held up in maintenance or troubleshooting problems.

No comment yet.
Scooped by Mickael Ruau
December 30, 2019 4:03 AM
Scoop.it!

Using Jira Sub-Tasks for QA Workflows

Using Jira Sub-Tasks for QA Workflows | Devops for Growth | Scoop.it
If you don’t have an official test management tool, Jira offers enough configurations for both manual and automated testing workflows.
No comment yet.
Scooped by Mickael Ruau
November 19, 2019 4:02 AM
Scoop.it!

La matrice d'auto-qualité… pour détecter et corriger les défauts de vos processus ! | Parlons Lean

La matrice d'auto-qualité… pour détecter et corriger les défauts de vos processus ! | Parlons Lean | Devops for Growth | Scoop.it
Pour améliorer un processus, il faut en retirer les défauts. L'idéal serait d'avoir l'équivalent d'une "salle blanche"… sans poussière. Comment détecter et corriger les défauts ?

De nombreux outils existent pour cela : la matrice d'auto-qualité sert à identifier les défauts et à "visualiser" de manière simple leur coût. Cette matrice comporte autant de colonnes que de défauts recensés, et autant de lignes que d'étapes du processus. Voici un exemple :
No comment yet.
Scooped by Mickael Ruau
November 13, 2019 2:18 AM
Scoop.it!

How to overcome the challenges of reproducing non-reproducible defects

Teams must be able to reproduce a defect and discover its source.
No comment yet.