Les niveaux de test
vendredi 26 avril 2019

Licence Creative Commons

Dans l'ingénierie des tests logiciels, il existe différents niveaux de test. La pyramide ci-dessous, également appelé pyramide de test ou pyramide de Mike Cohn est une parfaite illustration de ce concept.



Sommaire



1. Les tests unitaires

Les tests unitaires servent à vérifier qu'une certaine unité d'un code fonctionne comme prévu. Ces tests sont habituellement codés par les développeurs et permettent de localiser de manière très précise l'origine d'un bogue. Dans un langage orienté objet comme Java, une unité peut être une classe.

En théorie, l'exécution d'un tests unitaire doit se faire en parfaite isolation et doit durer moins d'une seconde. Les classes appelantes sont souvent remplacées par des mocks, des stubs ou par d'autres types de simulacre. Les tests unitaires ne traversent pas de port et leur nombre doit être largement supérieur au nombre de tout autre type de test.

On peut distinguer deux types de test unitaire.

  • Les tests unitaires « solitaires » où toutes les classes appelées par la classe testée sont remplacées par des simulacres (mock, stub, etc).

  • Les tests unitaires « sociables » où seuls les collaborateurs lents comme une classe d'accès à une base de données ou d'appels réseaux sont remplacées par des simulacres.




2. Les tests d'intégration

Dans la pyramide de Mike Cohn, les tests d'intégration se situent juste au-dessus des tests unitaires. Ils sont plus lents que les tests unitaires et sont eux aussi codés par les développeurs. Ils permettent de vérifier que la partie du code qui a pour rôle de communiquer avec un composant externe à l'application fonctionne correctement. Ce composant externe peut être une base de données, un service web ou un système de fichiers.

Les tests d'intégration ont un champ d'action étroit et sont localisés au frontière de l'application. Ce type de test nécessite le plus souvent l'exécution de l'application et du composant externe.

Un exemple possible de test d'intégration consisterait à écrire des informations dans la base de données de l'application via l'appel d'une fonction du code, puis de lire cette base de données pour vérifier la présence du résultat attendu.




1. Les tests d'API

La majorité des applications modernes offrent des API qui peuvent être utilisées pour vérifier le bon fonctionnement de la logique métier de l'application. En général, les tests d'api sont situés juste en dessous des tests d'interface utilisateur. Ils ont l'avantage d'être moins fragile et plus rapide que les tests d'interface utilisateur.

Un exemple de test d'api consisterait à envoyer une requête HTTP vers la couche web service de l'application, puis de vérifier la présence du résultat attendu dans la réponse HTTP.




4. Les tests IHM

Au sommet de la pyramide se trouve les tests d'interface utilisateur. Leur objectif est de vérifier en fonction des entrées et des interactions avec l'interface utilisateur, le contenu et l'affichage des données ainsi que le déclenchement des bonnes actions. Ils permettent de contrôler avec un point de vue utilisateur, le bon fonctionnement d'une application.

Les tests d'interface utilisateur peuvent être automatisés grâce à des outils comme Selenium, Protractor, Appium ou QTP. La mise en place d'un environnement complet est nécessaire pour ce type de test.




Note: Avec certains frameworks comme Angular, il est possible de développer des tests unitaires au niveau de la couche interface utilisateur



Références:

TestLink - Guide rapide d’utilisation
samedi 29 décembre 2018

Licence Creative Commons

TestLink est une application web de gestion des activités de test. Comme tout outil de gestion de test, il fournit les fonctionnalités comme la gestion des cas de test, la gestion des exigences, l’exécution des campagnes de test et le reporting des résultats.

Comment utiliser TestLink ?



1. Création d'un projet de test

Etape 1: Se connecter à TestLink en tant qu’admin


Etape 2 : Saisir les informations au sujet du projet de test


Etape 3 : Cliquer sur le bouton « Créer » pour enregistrer le projet de test





2. Gestion des exigences

Etape 4 : Cliquer sur le lien « Dossier des exigences ».


Etape 5 : Cliquer sur le bouton de création d’un dossier des exigences


Etape 6 : Saisir les informations du dossier d’exigence


Etape 7 : Cliquer sur le bon de création d’une exigence


Etape 8 : Saisir les informations au sujet de l'exigence


Etape 9 : Cliquer sur le bouton d’enregistrement





3. Gestion du cahier de test

Étape 10 : Cliquer sur le lien « Cahier de test ».


Étape 11 : Cliquer sur le bouton « + » pour créer une séquence de test (dossier de test).


Etape 12 : Saisir les informations concernant la séquence de test.


Étape 13 : Cliquer sur le bouton de création d’un cas de test (bouton + )


Etape 14: Saisir les informations au sujet du cas de test


Etape 15: Cliquer sur le bouton de création d'un pas de test


Etape 16: Saisir les actions de pas et les résultats attendus


Etape 17 : Lier le cas de test à un exigence



4. Création d’une campagne de test

Etape 18 : Cliquer sur le lien « Gestion de campagne de test ».


Etape 19 : Cliquer sur le bouton de création d’une campagne de test.


Etape 20 : Saisir les informations concernant la campagne de test et cliquer sur le bouton « Créer ».


Etape 21 : Vérifier la création de la campagne de test.


Etape 22 : Cliquer sur le lien « Affectation des cas de test à la campagne ».


Etape 22 : Cliquer sur la séquence de test.


Etape 23 : Affecter un cas de test


5. Création d’un build d'exécution

Etape 24 : Cliquer sur le lien « Build/Livraison ».


Etape 25 : Cliquer sur le bouton de création d’un build.


Etape 26 : Saisir les informations et cliquer sur le bouton « Créer ».


Etape 27 : Vérifier la création du build.



6. Gestion des utilisateurs et des droits d’accès

Etape 27 : Créer et/ou gérer des utilisateurs et les droits d'accès si vous le souhaitez.



7. Exécution de test

Etape 28: Cliquer sur le lien « Exécution des tests ».


Etape 29 : Sélectionner le résultat pour chaque étape du test.


Etape 30 : Cliquer sur un smiley pour indiquer le résultat de l’exécution du cas de test.


Etape 31 : Vérifier l'affichage du résultat.



8. Reporting des résultats

Etape 32 : Cliquer sur le lien en « Rapport de test et métrique ».


Etape 33 : Analyser les résultats de la campagne de test


Etape 34 : Générer un rapport de test



Tags: How use TestLink ?; TestLink - Quick Guide.

A lire aussi:

Références:

TestLink - Automatiser le reporting des résultats d'une campagne de test
samedi 15 décembre 2018

Licence Creative Commons

Introduction

Un grand nombre d'actions comme le passage d'un cas de test à l’état réussi ou la création d’un nouveau build peuvent être automatisées via l’utilisation d’une api intégrée à TestLink. Dans cet article, nous évoquerons le fonctionnement de cet api et quelques exemples d’utilisation.


Fonctionnement

L’api fournit par TestLink utilise le protocole xml-rpc. Elle fait office d’interface de communication entre un programme et TestLink.

Le protocole xml-rpc permet d'appeler une fonction sur un serveur distant depuis n'importe quel environnement et avec n'importe quel langage de programmation. Ce processus utilise le protocole HTTP pour le transfert des données et la norme XML pour la structuration des données.


Téléchargement d’un client

La première étape consiste à télécharger un client pour utiliser les fonctionnalités offerte par l’api TestLink. Généralement, il existe un client pour chaque langage de programmation.


Langage Client
Python https://pypi.org/project/testlink-api
C# https://github.com/freemanke/testlinkapi
Node.js https://www.npmjs.com/package/testlink-api-client
Ruby https://rubygems.org/gems/testlink-api-client
Java https://github.com/kinow/testlink-java-api


Utilisation

Prérequis:
  • Créer des cas de test et les associés à une campagne de test.
  • Installer le module php7.0-xml si besoin

Environnement

Système d'exploitation Debian 9.6
Serveur web Apache/2.4.25
Version PHP PHP 7.0.30
Système de gestion de base de données MariaDB 10.1.26 

Libraries


Mise en oeuvre

  • Connexion à TestLink



  public static void connect() throws TestLinkAPIException, MalformedURLException {
  
   String url = "http://127.0.0.1/lib/api/xmlrpc/v1/xmlrpc.php";
   String key = "dafcda34e47f414ea42f1e2f7c422cf5";
 
    testLinkAPI = new TestLinkAPI(new URL(url), key); 
 }

  • Création d'un build

 public static String createTestLinkBuild(String testProjectName, String testPlanName) {
  
  SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH.mm.ss");
  String timeStamp = dateFormat.format(new Date());
  
  Integer testPlanId = testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
  
  testLinkAPI.createBuild(testPlanId, timeStamp, "Ceci est un commentaire");
  
   return timeStamp;
 }


  • Passage d’un cas de test à l’état réussi

 private static void pass(String testCaseName, String testProjectName, String testPlanName, 
 String buildName){

    Integer testCaseId = 
    testLinkAPI.getTestCaseIDByName(testCaseName, null, testProjectName, null);

    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
    
    testLinkAPI.reportTCResult(testCaseId , null, testPlanId, ExecutionStatus.PASSED, null, 
    null, buildName, "Test OK",    null, null, null, null, null, null); 
}


  • Passage d’un cas de test à l’état en échec

 public static void fail(String testCaseName, String testProjectName, String testPlanName, 
 String buildName){

    Integer testCaseId = 
    testLinkAPI.getTestCaseIDByName(testCaseName, null, testProjectName, null);

    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
    
    testLinkAPI.reportTCResult(testCaseId , null, testPlanId, ExecutionStatus.FAILED, null, 
    null, buildName, "Test OK",    null, null, null, null, null, null); 
}


  • Passage d’un cas de test à l’état bloqué

 public static void block(String testCaseName, String testProjectName, String testPlanName, 
 String buildName){

    Integer testCaseId = 
    testLinkAPI.getTestCaseIDByName(testCaseName, null, testProjectName, null);

    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
    
    testLinkAPI.reportTCResult(testCaseId , null, testPlanId, ExecutionStatus.BLOCKED, null, 
    null, buildName, "Test OK",    null, null, null, null, null, null); 
}


  • Afficher les résultats de l'exécution d’une campagne de test

 public static void displayResults(String testProjectName, String testPlanName, 
 String buildName){
  
  Integer testPlanId = 
  testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
  
  Build build =
  testLinkAPI.getLatestBuildForTestPlan(testPlanId);

  TestCase[] testCase = 
  testLinkAPI.getTestCasesForTestPlan(testPlanId, null, build.getId(), null, null, 
  null, null, null, null, null, null);
  
  System.out.println("Resultat de la campagne de test demo");
  System.out.println("Titre du build: " + build.getName() + "\n");
  
  for(int i=0; i < testCase.length; i++){
    String testCaseResult = 
    testCase[i].getName() +": " + testCase[i].getExecutionStatus().name();
    System.out.println(testCaseResult);
  }
 }


Un exemple d'utilisation permettant de consigner dans TestLink les résultats d'une campagne de test.

 public class TestReports {

   private static TestLinkAPI testLinkAPI;
 
   public static void main(String [] args) throws Exception {
 
    String testProjectName =  "Projet de test demo";
    String testPlanName = "Campagne de test demo";
    
    connect();

    String buildName = createTestLinkBuild(testProjectName, testPlanName);
 
    pass("Cas de test A", testProjectName, testPlanName, buildName);
    fail("Cas de test B", testProjectName, testPlanName, buildName);
    block("Cas de test C", testProjectName, testPlanName, buildName);

    displayResults(testProjectName, testPlanName, buildName);
   }


   public static void connect() throws TestLinkAPIException, MalformedURLException {
  
     String url = "http://127.0.0.1/lib/api/xmlrpc/v1/xmlrpc.php";
     String key = "dafcda34e47f414ea42f1e2f7c422cf5";
 
     testLinkAPI = new TestLinkAPI(new URL(url), key); 
   }

   public static String createTestLinkBuild(String testProjectName, String testPlanName) {
  
    SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH.mm.ss");
    String timeStamp = dateFormat.format(new Date());
  
    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
  
    testLinkAPI.createBuild(testPlanId, timeStamp, "Ceci est un commentaire");
  
    return timeStamp;
  }
 
  public static void pass(String testCaseName, String testProjectName, String testPlanName, 
  String buildName){

    Integer testCaseId = 
    testLinkAPI.getTestCaseIDByName(testCaseName, null, testProjectName, null);

    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
    
    testLinkAPI.reportTCResult(testCaseId , null, testPlanId, ExecutionStatus.PASSED, null, 
    null, buildName, "Test OK",    null, null, null, null, null, null); 
  }

  public static void fail(String testCaseName, String testProjectName, String testPlanName, 
  String buildName){

    Integer testCaseId = 
    testLinkAPI.getTestCaseIDByName(testCaseName, null, testProjectName, null);

    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
    
    testLinkAPI.reportTCResult(testCaseId , null, testPlanId, ExecutionStatus.FAILED, null, 
    null, buildName, "Test OK",    null, null, null, null, null, null); 
   }

  public static void block(String testCaseName, String testProjectName, String testPlanName, 
  String buildName){

    Integer testCaseId = 
    testLinkAPI.getTestCaseIDByName(testCaseName, null, testProjectName, null);

    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
    
    testLinkAPI.reportTCResult(testCaseId , null, testPlanId, ExecutionStatus.BLOCKED, null, 
    null, buildName, "Test OK",    null, null, null, null, null, null); 
  }
 
  public static void displayResults(String testProjectName, String testPlanName, 
  String buildName){
  
    Integer testPlanId = 
    testLinkAPI.getTestPlanByName(testPlanName, testProjectName).getId();
  
    Build build =
    testLinkAPI.getLatestBuildForTestPlan(testPlanId);

    TestCase[] testCase = 
    testLinkAPI.getTestCasesForTestPlan(testPlanId, null, build.getId(), null, null, 
    null, null, null, null, null, null);
  
    System.out.println("Resultat de la campagne de test demo");
    System.out.println("Titre du build: " + build.getName() + "\n");
  
    for(int i=0; i < testCase.length; i++){
      String testCaseResult = 
      testCase[i].getName() +": " + testCase[i].getExecutionStatus().name();
      System.out.println(testCaseResult);
    }
   }

 }




Liste des librairies utilisées

Dépendances
commons-configuration2-2.4.jar
commons-io-2.6.jar
httpclient-4.5.6.jar
xml-apis-2.0.2.jar
xml-apis-2.0.2.jar
xmlrpc-client-3.1.3.jar
xmlrpc-common-3.1.3.jar
ws-commons-util-1.0.2.jar
commons-logging-1.2.jar
commons-text-1.6.jar
commons-lang3-3.8.1.jar


Tags: - How to Update TestLink Test Case Execution Status Remotely ? - Report test steps results with JAVA API.

A lire aussi:

Références:

AUTRES ARTICLES