Metryki, które warto uwzględniać w raportach

Rzetelny raport w testach wymaga twardych danych, a nie ogólnych wrażeń. Dzięki metrykom widzimy, na jakim etapie jest projekt, jak wygląda jakość produktu i czy procesy testowe działają tak, jak powinny. Jeśli dobrze dobierzemy zestaw wskaźników, ułatwi to nam podejmowanie decyzji, wychwytywanie problemów i pokazanie w sposób zrozumiały postępów, zarówno zespołowi, jak i klientom.

Dobór metryk

Nie ma jednego uniwersalnego zestawu metryk dla wszystkich projektów. To, co warto mierzyć, zależy od celu testów. Może nim być podniesienie jakości, redukcja kosztów czy skrócenie czasu dostarczenia produktu. 

Aby dobrać metryki efektywnie, określ, które wskaźniki najlepiej oddają specyfikę projektu, upewnij się, że zespół i klienci rozumieją, po co zbierane są dane, regularnie sprawdzaj, czy metryki nadal są przydatne oraz prezentuj dane w formie czytelnych tabel i wykresów. 

Rada: metryki dobieraj tak, by odpowiadały na pytania projektowe. Jeśli priorytetem jest czas dostarczenia, większe znaczenie będą miały wskaźniki cyklu testowego i odchylenia harmonogramu niż np. gęstość defektów. 

Metryki procesowe

Pokazują sprawność i skuteczność działań testerskich. Należą do nich:

1. Efektywność przypadków testowych - (defekty wykryte / przypadki testowe wykonane) x 100. Służy do oceny jakości przypadków testowych pod kątem wychwytywania defektów. Przydatna szczególnie wtedy, gdy chcemy zoptymalizować zestaw testów, eliminując te o niskiej wartości wykrywczej. 
2. Czas cyklu testowego - czas od rozpoczęcia do zakończenia testów. Warto śledzić tę metrykę w projektach iteracyjnych, aby szybko wychwycić wydłużanie się cykli.
3. Czas naprawy defektu - od wykrycia do zamknięcia błędu. Dobry wskaźnik efektywności współpracy zespołu testerskiego z programistami.
4. Liczba defektów - ogólny obraz jakości produktu.
5. Krytyczność defektów - podział błędów na krytyczne, poważne i drobne.
6. Proces testów zaliczonych/niezaliczonych - szybka ocena stabilności systemu.

Wysoki odsetek testów niezaliczonych nie zawsze oznacza problem w kodzie. Czasem wynika z błędnej konfiguracji środowiska lub niepełnych danych testowych. 

Metryki projektowe

Oceniają wydajność zespołu i efektywność wykorzystania zasobów. Są to:

1. Pokrycie testów - (funkcjonalności przetestowane / wszystkie funkcjonalności) x 100. Podstawa w projektach, gdzie ryzyko pominięcia istotnej funkcji jest wysokie.
2. Koszt testów - pełny koszt działań testowych, w tym infrastruktura i zasoby ludzkie.
3. Odchylenia budżetu i harmonogramu - różnice między planem a rzeczywistym wykonaniem. 
4. Gęstość defektów - liczba defektów w odniesieniu do wielkości modułu. 
5. Efektywność usuwania defektów - (usunięte defekty / wszystkie defekty) x 100.
6. Współczynnik wycieku defektów - (defekty wykryte w testach / wszystkie defekty) x 100.
7. Nakład pracy na poprawki - (nakład pracy na poprawki / całkowity nakład testów) x 100.

Wysoki wskaźnik wycieku defektów może świadczyć o niewystarczającym pokryciu testami albo o braku odpowiednich scenariuszy testowych. 

Metryki dla testów manualnych

Analiza wykonanych przypadków i znalezionych defektów wskazuje skuteczność pracy testerów i obszary, które wymagają optymalizacji. Należą do nich:

1. Procent wykonanych przypadków testowych, np. (180/200) x 100 = 90%
2. Procent testów zaliczonych, np. (100/180) x 100 ≈ 55,56%
3. Procent testów niezaliczonych, np. (80/180) x 100 ≈ 44,44%
4. Procent naprawionych defektów, np. (12/20) x 100 = 60%
5. Procent zaakceptowanych defektów, np. (15/20) x 100 = 75%
6. Procent odroczonych defektów, np. (5/20) x 100 = 25%

Te wskaźniki sprawdzają się najlepiej w raportach sprintowych, gdzie liczy się szybka informacja o postępach. 

Jak raportować metryki, żeby były zrozumiałe?

Przy prezentowaniu metryk warto zadbać, aby były one nie tylko poprawne, ale też czytelne. Wykresy liniowe świetnie sprawdzają się do pokazywania trendów w czasie, na przykład w liczbie defektów między kolejnymi iteracjami. Jeśli celem jest porównanie wyników pomiędzy modułami lub wersjami systemu, lepszym wyborem będą wykresy słupkowe. Natomiast wykresy kołowe w prosty sposób pokazują strukturę danych, na przykład rozkład defektów według ich krytyczności. Niezależnie od formy, do każdego zestawienia warto dodać krótką interpretację. Sama liczba nie mówi jeszcze, czy wynik jest dobry, czy wymaga reakcji. 

Najczęstsze błędy przy korzystaniu z metryk

Podczas pracy z metrykami łatwo wpaść w kilka pułapek. Jedną z nich jest mierzenie wszystkiego bez refleksji, co prowadzi do gromadzenia wskaźników, które nie mają realnego wpływu na decyzje projektowe. Innym problemem jest brak aktualizacji (utrzymywanie metryk, które kiedyś były istotne, ale dziś nie odpowiadają już na podstawowe pytania). 

Częstym błędem jest też prezentowanie liczb bez kontekstu, na przykład podawanie samej liczby defektów bez odniesienia do wielkości modułu czy liczby testów. Równie problematyczne bywa porównywanie wartości, które nie są ze sobą porównywalne, jak choćby efektywności testów w sprintach o zupełnie różnym zakresie prac. 

Zakończenie

Dane w raporcie są po to, by ktoś mógł na ich podstawie podjąć decyzję. Jeśli nie wywołują żadnej reakcji, to znaczy, że czas przemyśleć, co mierzymy.