Narzędzie do zarządzania testowaniem. Część 3: Wyniki

Po przeprowadzeniu rozbudowanej analizy prezentujemy wam wyniki naszych testów na najlepsze (naszym zadaniem) narzędzie do zarządzania testowaniem.


Badanie narzędzia opierało się na jego instalacji i weryfikacji naszych założeń. Dla potrzeb testów w każdym narzędziu przeszliśmy przez:

  1. Pełen proces instalacji narzędzia
  2. Proces integracji narzędzia z zewnętrznym narzędziem do raportowania defektów
  3. Konfigurację po stronie administracji
  4. Zbudowanie projektu testowego
  5. Przeprowadzenie projektu testowego (uproszczonego)
  6. Pozbieranie wyników z projektu testowego
  7. Zbudowanie raportu i zamknięcie projektu


Analizowaliśmy więc wszystkie obszary. Nie można powiedzieć, że przetestowaliśmy wszystko, ale wywołaliśmy wszystkie kluczowe funkcje aplikacji. Możemy też pochwalić się tym, że znaleźliśmy w narzędziach kilka błędów.

Do testów użyto następujących wersji narzędzi:

  • SpiraTest v3.2.0
  • TestRail v2.5.1
  • TestLink v1.9.3
  • SynapseRT v5.0

 

Ocena aplikacji opierała się na  zdefiniowanych wcześniej wymaganiach, oraz  na nowych potrzebach, które pojawiały się w czasie analizy. Można powiedzieć o agile-owym podejściu, w którym akceptowaliśmy nowe oczekiwania użytkownika / klienta. Staraliśmy się je sprawdzać w narzędziach. Postaraliśmy się, aby wymagania były przekrojowe i obejmowały cały proces użycia aplikacji (od instalacji po zamknięcie projektu) oraz jej zarządzania (od zwykłego użytkownika po administratora). Zwracaliśmy również uwagę na charakterystyki oprogramowania, takie jak użyteczność oraz wydajność.

Zdecydowaliśmy się dokonać pełnej oceny wymagań w skali:

  • 0 - brak spełnienia wymagań
  • 5 - pełne spełnienie wymagań.


alt

Testlink został skreślony głównie ze względu na złe zarządzanie projektem open source. Widać, że dodawanie funkcji jest chaotyczne i wiele elementów narzędzia nie pasuje do pozostałych. Synapse RT ma jedną zaletę, której nie udało się znaleźć w pozostałych narzędziach: jest to wizualizacja dla śledzalności między przypadkami testowymi a wymaganiami. Narzędzie jednak oprócz tego nie wnosi zbyt wiele. Jest silnie powiązane z silnikiem samej JIRA i korzysta z wbudowanych w nią funkcji.

W ostatecznym rozrachunku otrzymany wynik wskazywał na dwa rozwiązania SpiraTest oraz TestRail.

Żadne z nich nie zdobyło wyraźnej przewagi więc ponownie przeanalizowaliśmy zalety i wady obydwu narzędzi. SpiraTest to rozwiązanie kompleksowe, dające możliwość zarówno zarządzania testami, jak i, w uproszczeniu, zarządzania wymaganiami oraz defektami. Cechuje się olbrzymią ilością funkcji oraz ciekawymi raportami. Rozwiązanie ma jednak sporo wad:

  • brak importu i eksportu z/do plików
  • brak wersjonowania przypadków testowych
  • przeładowany i niezbyt przyjazny interfejs użytkownika


TestRail jest z kolei rozwiązaniem prostym. Szybko osiąga się w nim biegłość i odkrywa ciekawe funkcje, jak np. estymatę czasu wykonania testów bazującą na wcześniejszych wykonaniach. Jednocześnie narzędzie ma jedną kolosalną wadę, która dyskwalifikuje je w odniesieniu do innych rozwiązań – TestRail jest praktycznie pozbawiony możliwości raportowania.

Nasza analiza nie dała jednoznacznej odpowiedzi na pytania, które z rozwiązań jest najlepsze, pozwoliła jednak na bliskie zapoznanie się z narzędziami oraz zdefiniowanie ich wad i zalet. Każda firma, niezależnie od tego, czy podejmuje się własnej analizy czy też korzysta z analiz innych organizacji, musi odpowiedzieć sobie na pytanie, czy jest w stanie zaakceptować braki funkcjonalności, albo wady narzędzia. 

Nasza praca pomogła nam zdefiniować wymagania na idealne, z naszej perspektywy, narzędzie do zarządzania testowaniem. Prace nad nim już ruszyły.

Wyniki analizy można pobrać w pliku PDF >>



To ostatnia prezentacja w ramach tego projektu. Do tej pory zaprezentowaliśmy:



Analiza została wykonana dla ING Banku Śląskiego.

 

 

 

Najbliższe terminy szkoleń

 

1-2 marzec - Katowice

Java dla testerów oprogramowania


5-8 marzec - Gdańsk

Zawód Tester


8-9 marzec - Katowice

Selenium WebDriver dla początkujących


12-13 marzec - Kraków

TestComplete od podstaw

 

Partnerzy

Narzędzia testerskie