Polskie, testerskie wtyczki do Jiry. Porównanie z TestRail

Czy naprawdę musimy przepłacać za zagraniczne rozwiązania?

Po 40 godzinach szczegółowych testów, nasz zespół przeprowadził pierwszą tak kompleksową analizę porównawczą narzędzi do zarządzania testami, stawiając rodzime rozwiązania w szranki z uznanym TestRail.

Tym razem pod lupę wzięliśmy RTM od firmy Deviniti oraz QAlity od SolDevelo. Do udziału w badaniu zaprosiliśmy więcej rodzimych producentów, ale tylko te dwie firmy odpowiedziały na naszą prośbę.

Naszym celem było rzetelne porównanie ich narzędzi z jednym z najczęściej wykorzystywanych rozwiązań klasy enterprise nie po to, by wyłonić „zwycięzcę”, ale by pokazać, w jakich kontekstach dane narzędzie sprawdzi się lepiej i sprawdzić, czy rodzime rozwiązania dorównują standardom wyznaczanym przez zagraniczną konkurencję.

Metodologia badania

Zależało nam na tym, żeby zapewnić obiektywną i kompleksową ocenę, stworzyliśmy więc zestaw scenariuszy testowych z uwzględnieniem dwóch ról: testera oraz test managera. W centrum uwagi znalazły się zadania typowe dla codziennej pracy, czyli tworzenie przypadków testowych, wykonywanie testów, współpraca zespołowa oraz planowanie i raportowanie. 

Ze względu na ograniczenia czasowe nie udało nam się w pełni zbadać zaawansowanych scenariuszy związanych z automatyzacją.

Zbadane scenariusze testowe 

A. Scenariusze dla Testera

T1: Codzienna praca z testami

1. Szybki dostęp do przypisanych testów:
   1. widok zadań na dziś/tydzień,
   2. dostęp do ostatnio wykonywanych testów,
   3. filtrowanie i wyszukiwanie testów,
      1. możliwość zawężenia wyszukiwania o określone kryteria:
         1. sekcja, 
         2. priorytet, 
         3. status, 
         4. przypisany do, 
         5. utworzony przez, 
         6. utworzony dnia,
         7. tytuł,
         8. szablon,
         9. priorytet,
         10. itd.
      2. filtrowanie w oparciu o wiele parametrów,
      3. sortowanie wyników wyszukiwania;
2. Wykonywanie testów:
   1. wykonanie testów z różnymi statusami, 
   2. uruchamianie przypadków testowych dla określonego zestawu testów, w tym:
      1. uruchamianie dla każdej nowej wersji danej aplikacji,
      2. wykonywanie określonego zestawu testach dla różnych konfiguracji (np. różnych systemów operacyjnych);
   3. dołączanie załączników - screenshoty, logi, 
   4. dodawanie komentarzy do kroków,
   5. szybka aktualizacja statusów wielu testów.
3. Zarządzanie przypadkami testowymi:
   1. import przypadków testowych z pliku Excel,
   2. import przypadków testowych z innych źródeł,
   3. export przypadków testowych (możliwość udostępnienia osobom bez dostępu do narzędzia),
   4. tworzenie nowych przypadków testowych:
      1. standardowe,
      2. z użyciem szablonów;
   5. kopiowanie i reużycie kroków testowych,
   6. kopiowanie i reużycie całych setów przypadków testowych,
   7. organizacja przypadków w zestawy ,
   8. przypisanie priorytetów i tagów;
4. Zarządzanie defektami:
   1. rejestracja defektów,
      1. automatyczne powiadomienia o dodanym defekcie,
      2. śledzenie statusu,
      3. możliwość komentowania i aktualizacji;
   2. integracja z Jira, 
   3. śledzenie statusów zgłoszonych defektów,
   4. linkowanie defektów do przypadków testowych .

T2: Współpraca zespołowa

1. Komunikacja w zespole:
   1. Komentowanie i dyskusje
   2. Przekazywanie testów pomiędzy testerami
      1. współdzielenie i udostępnianie zestawów kroków w wielu przypadkach testowych
      2. zbiorcze edytowanie i wyświetlanie historii zmian
   3. Powiadomienia o zmianach
2. Organizacja pracy:
   1. tagowanie testów dla lepszej organizacji,
   2. tworzenie własnych widoków,
   3. zarządzanie osobistymi notatkami,
   4. śledzenie postępu własnej pracy.

B. Scenariusze dla Test Managera

M1: Zarządzanie zestawem testów

1. Organizacja struktury testów: 
   1. utworzenie struktury folderów, 
   2. masowa edycja przypadków testowych,
   3. wersjonowanie przypadków testowych;
2. Zarządzanie biblioteką testów: 
   1. klonowanie i modyfikacja zestawów testów,
   2. synchronizacja wymagań, 
   3. zarządzanie szablonami testów,
   4. kontrola wersji testów.

M2: Planowanie i nadzór

1. Planowanie wykonania testów:
   1. utworzenie planu testów, 
   2. przypisanie testerów, 
   3. ustawienie harmonogramu, 
   4. balansowanie obciążenia zespołu,
   5. dodawanie kamieni milowych do projektu;
2. Monitoring i raportowanie:
   1. generowanie raportów postępu,
   2. analiza metryk pokrycia testami (wartościowe byłoby pokazanie mnogości różnych metryk w narzędziu!!!),
   3. tworzenie dashboardów,
   4. export danych do różnych formatów,
   5. udostępnianie raportów interesariuszom. 

C. Scenariusz zaawansowany

M3: Integracje i automatyzacja (niższy priorytet)

1. Integracje systemowe:
   1. integracja z systemem kontroli wersji, 
   2. integracja z narzędziami do automatyzacji, 
   3. integracja z Jira,
   4. synchronizacja wymagań.

Kryteria oceny

Wyniki i wnioski

Badanie nie wykazało jednoznacznej przewagi żadnego z narzędzi, a raczej udowodniło, że oba mają podobną wartość, ale mogą sprawdzić się w różnych kontekstach. Umożliwiło nam to na tyle szczegółowe zapoznanie się z narzędziami, by zdefiniować ich mocne i słabe strony.

Szczegółowe porównanie, opisy funkcjonalności, mocne i słabe strony oraz nasze rekomendacje zawarliśmy w pełnym raporcie dostępnym TYLKO dla subskrybentów testerzy+.

Co znajdziesz w tym raporcie:

• wyniki testów 15 kategorii funkcjonalności (od codziennej pracy testera po zarządzanie strategiczne)
• porównanie 9 scenariuszy użytkowych i 6 kryteriów jakościowych
• szczegółową analizę problemów napotkanych w każdym narzędziu
• praktyczne rekomendacje - które narzędzie wybrać w zależności od potrzeb zespołu

Pobierz pełny raport z analizą (34 strony)

Dodatkowe materiały

Jeśli jesteście ciekawi naszych innych recenzji, zebraliśmy je dla Was w jednym miejscu poniżej:

• Szczegółowa recenzja narzędzia RTM z 2021 roku
• Nasze wcześniejsze analizy narzędzi do zarządzania testami: 
  • Analiza narzędzi do zarządzania testowaniem - część 1
  • Analiza TestRail - część 2
  • Wyniki porównania narzędzi - część 3

Dołącz do udziału w badaniu!

A może chcesz współtworzyć kolejne edycje rapotu? Nic prostszego:

1. Wypełnij formularz: link do formularza
2. Oceń narzędzie, którego używasz: kompleksowo lub tylko z perspektywy testera/test managera
3. Prześlij nam swoje wyniki. Każda opinia zwiększa wiarygodność rankingu. 

Na podstawie zebranych ocen będziemy mogli publikować bardziej szczegółowe porównanie najpopularniejszych narzędzi. 

Podsumowanie

Dane są jednoznaczne: jeśli pracujesz z Jirą, polskie wtyczki to realna alternatywa dla TestRail. Są tańsze, lepiej zintegrowane i (co ważniejsze) odpowiadają na potrzeby testerów i managerów. Sprawdź, przetestuj i wybierz świadomie.