Méthodes de test pour la validation et la vérification MTV²

Le groupe MTV² s'intéresse à la validation et la vérification des logiciels par des techniques de test.

Les partenaires impliqués couvrent un large spectre de langages et de techniques de test. L'expertise de ce groupe permet d'aborder des méthodes de test fonctionnel (test boîte noire), de test structurel (test boîte blanche), de test de robustesse, d'interopérabilité, de sécurité, le test statistique intensif. Le test de composants et notamment "en contexte" permet d'apporter une réponse à la complexité croissante des logiciels. En effet, le développement à base de composants logiciels est une tentative pour gérer la complexité croissante des systèmes et des technologies émergentes (les middleware, le code mobile, l'interopérabilité,...). Ainsi, le test s'intéresse également à la validation de composants par des techniques de test en contexte, de test d'intégration de composants. On s'intéresse à la mise à disposition d'une librairie de composants fiables et réutilisables. La distribution de ces composants est également prise en compte par des techniques de test distribué, réparti.
La testabilité est une notion également importante qu'il faut considérer comme un attribut du système sous test qui représente l'effort nécessaire pour le valider. Il s'agit du degré selon lequel un système ou un composant facilite l'établissement des critères d'essai et l'efficacité des essais à déterminer si ces critères ont été respectés.
Le test intervient à différents niveaux selon le modèle de développement choisi. La génération de test à partir de modèles formels ou semi-formels est une problématique largement abordée par les partenaires ainsi que la mise en oeuvre du test. L'activité de test nécessite de concevoir des algorithmes efficaces de génération de test et de concevoir des techniques de sélection des tests (aléatoire, couverture, objectifs, etc.), d'analyse de couverture de fautes. La formalisation de ces tests repose sur différents modèles et leurs extensions pour prendre en compte les particularités des systèmes à tester (les données, le temps, la récursion, les probabilités, la mobilité, la concurrence, etc.). Les outils de génération et/ou sélection de tests utilisent de plus en plus des méthodes à base de résolution de contraintes et de preuves.
Dans la même idée de couplages de techniques différentes, on peut également citer les techniques de vérification de modèles qui sont utilisées à des fins de génération de tests.

Le groupe aborde la mise en oeuvre des tests, i.e. leur exécution sur l'implantation sous test et s'intéresse aux langages à utiliser pour les tests, comme TTCN3. La phase d'exécution et les phases amont de génération font l'hypothèse de pouvoir interagir avec le système sous test, or les interfaces ne sont pas toujours accessibles. Ainsi, des techniques de test passif ou de monitoring permettent de tester à postériori (off-line) ou en parralèle avec son exécution le système en recherchant dans les traces d'exécution réelles des propriétés fonctionnelles.

Equipes participantes

Informations sur les équipes françaises participant au groupe de travail:

Equipes étrangères ou industrielles associées au groupe de travail

• Andreas Podelski (http://mpi-inf.mpg.de/~podelski/)
• F. Kendek et R. Dssouli, Colorado State University, Carleton University (Ottawa, Canada)
• Yvan Labiche, Software Quality engineering Laboratory (SQUALL), Carleton University, Canada
• Manuel Nunez, Dep. Sistemas Informáticos y Programación, Facultad de Informática, Universidad Complutense de Madrid
• Antonia Bertolino, Sofware Engineering Research Laboratory, ISTI Istituto di Scienza e Tecnologie della Informazione A. Faedo, Pise, Italie.
• Arnaud Gotlieb, Simula Research Laboratory, Norway (permanents : 5, doctorants : 7, postdoctorants : 3, chercheurs à temps-partiel : 4)
• Lionel Briand, Interdisciplinary Centre on Security, Reliability, and Trust, Université du Luxembourg

• Airbus
• Onera
• Thales
• Orange Labs
• Trusted Labs
• Gemalto
• DGA
• Diag21

Objectifs du groupe de travail - Projets d’actions

Ce groupe de travail contribuera à développer et mettre en commun les techniques de test et le savoir-faire des équipes impliquées. Il étudiera une meilleure intégration des différentes techniques de test. L'action du groupe consistera à analyser les techniques existantes de test pour chaque activité du cycle de développement du logiciel et à les confronter aux besoins et à la pratique des concepteurs de logiciels.

De plus, le groupe de travail comparera et évaluera les différents outils développés par les partenaires et qui couvrent ces différentes activités.

En outre, nous pourrons échanger nos expériences sur l'enseignement du test de logiciels.

Mode de fonctionnement - Organisation des activités du groupe

Le fonctionnement du groupe s'articule autour de réunions thématiques pendant lesquelles les partenaires présenteront leurs travaux. Ces réunions annuelles, distinctes des journées nationales du GDR, regroupent en moyenne une quarantaine de participants venant de toute la France. Suivant leur emplacement, elles peuvent avoir lieu sur une ou deux journées. Durant le précédent quadriennal, quatres réunions se sont ainsi tenues à Orsay (Nov. 2008), à Besançon (Juin 2009), à Grenoble (Juin 2010) et à Rennes (Oct. 2011). Les doctorants des différents groupes sont également très impliqués et ils peuvent effectuer des courts séjours au sein des laboratoires partenaires. L'organisation d'une école thématique à leur intention est envisagée. Nos réunions thématiques sont ouvertes aux industriels et cela nous donne l'opportunité de valoriser nos travaux et d'assurer éventuellement un transfert industriel de nos outils. Ces réunions nous permettent également de faciliter l'émergence de projets en réponse aux appels de l'ANR.

Relations externes : certains partenaires ont fait partie du réseau Pierre et Marie Curie sur le test TAROT (http://www.int-evry.fr/tarot) même si ce réseau a pris fin en 2008 l'école d'été sur le test TAROT continue son existence au delà du support initial. De nombreux partenaires sont régulièrement sollicités pour présenter des exposés à cette école. En particulier cette Nous pourrons profiter de cette opportunité pour proposer des tutoriels sur des aspects du test non couverts par le réseau aux différentes écoles d'été organisées par ce projet.
Nous souhaitons également inviter à nos réunions thématiques des chercheurs étrangers avec lesquels certains collaborent. Cela a été le cas par le passé : Andreas Podelski (Université de Freiburg) et Rob Hierons (Université de Brunel) sont venus présenter des exposés invités aux réunions d'Orsay et de Besançon.

Relations internes : notre groupe de travail traite de la validation et la vérification par des techniques de test. Le couplage à des techniques différentes doit nous permettre de nous rapprocher de groupe de travail sur la preuve LTP (Langages, Types et Preuves), avec lequel une réunion commune avait été organisée à Rennes en 2011. Durant ce nouveau quadriennal il est envisageable de réitérer cette expérience avec des groupes comme FORWAL (Formalismes et Outils pour la Vérification et la Validation) ou MFDL (Méthodes Formelles pour le Développement Logiciel) dont certains partenaires de MTV² font également partie.

Conférences ou ateliers associés au groupe

• International Conference on Software Testing Verification and Validation (ICST) Montréal 2012
• International Conference on Testsing Software and Systems (ICTSS) (ex. TestCom/FATES) Paris 2011
• International Conference of Software Engineering (ICSE) Zurich 2012
• International Conference on Automated Software Engineering (ASE) Essen 2012
• International Symposium on Software Reliability Engineering (ISSRE) Dallas 2012
• International Symposium on Software Testing and Analysis (ISSTA) Mineapolis 2012
• International Conference On Quality Software (QSIC) Xi'an 2012
• International Workshop Constraints in Software Testing, Verification and Analysis (CSTVA) Montréal 2012
• International Workshop on Mutation Analysis (Mutation) Montréal 2012
• International Workshop Security Testing (SECTEST) Montréal 2012
• International Workshop on Advances in Model Based Testing (A-MOST) Montréal 2012
• International Workshop on Model-Driven Engineering, Verification, and Validation (MoDeVVa) Wellington 2011
• Colloque Francophone sur l'Ingénierie des Protocoles (CFIP) Sainte-Maxime 2011
• Atelier Approches Formelles pour l'Aide au Développement Logiciel (AFADL) Grenoble 2012
• Ecole d'été internationale Training And Research On Testing (TAROT) Besançon 2012