Ciekawe metryki cz. I: EMTE równoważnik pracochłonności testowania manualnego

Ciekawe metryki cz. I: EMTE równoważnik pracochłonności testowania manualnego
Przedstawiamy metryki powiązane z jakością i testowaniem. Część z nich już zapewne używacie lub po prostu znacie, ale część może być dla was nowością. Będziemy mówili zarówno o tych oczywistych, jak i oryginalnych. Zaczynamy od EMTE.

EMTE to skrót od Equivalent Manual Test Effort, co w polskim tłumaczeniu oznacza równoważnik pracochłonności testowania manualnego. Innymi słowy jest to wysiłek, wymagany do uruchomienia testów ręcznie. 
 

Czym jest EMTE?

Opis jej zastosowania znajdziemy w „Certyfikowany tester, Sylabus poziomu zaawansowanego, Inżynier automatyzacji testowania”:

Zautomatyzowanie większych lub bardziej złożonych testów trwa zwykle dłużej niż zautomatyzowanie testów krótszych lub prostszych, dlatego do obliczania kosztów automatyzacji testowania można wykorzystać średni czas budowania testu. Aby uzyskać bardziej precyzyjne wyliczenia, można dodatkowo uwzględnić średni koszt dotyczący konkretnego zbioru testów (obejmującego, na przykład, testy dotyczące tej samej funkcji lub wykonywane na tym samym poziomie testów). Innym rozwiązaniem jest wyrażenie kosztów tworzenia testów przy użyciu wskaźnika określającego nakład pracy, niezbędny do manualnego wykonania danego testu (tzw. równoważnik pracochłonności testowania manualnego — EMTE). W ten sposób można na przykład stwierdzić, że zautomatyzowanie danego przypadku testowego jest dwa razy bardziej pracochłonne niż wykonanie go manualnie (2 EMTE).


Szerzej temat opisuje Dorothy Graham, podając również przykłady:

Jeśli uruchomienie testu (A) zajęłoby 4 godziny, to jego EMTE wynosi 4 godziny; inny test (B), który wymagałby 7,5 godziny, aby uruchomić go ręcznie, ma EMTE 7,5 godziny.
W cyklu testowym, jeśli Test A jest wykonywany pięć razy, a Test B jest wykonywany dwukrotnie, wówczas EMTE dla tego cyklu wynosi 5 * 4 godziny + 2 * 7,5 godziny = 20 + 15 = 35 godzin EMTE.

 

Do czego służy EMTE?

EMTE może służyć do mierzenia korzyści płynących z automatyzacji testów. Jesteśmy w stanie pokazać zaoszczędzony czas i przeliczyć go na oszczędzone pieniądze. 
U Pani Graham czytamy: Gdy testy są zautomatyzowane, można je uruchomić w znacznie krótszym czasie, niż ręcznie. Na przykład, nasz test A może być uruchomiony w 5 minut. Dzięki temu możemy osiągnąć „4 godziny” testów manualnych  w 5 minut testów automatycznych.

 
Pułapki EMTE


Niewłaściwe posługiwanie się metryką może jednak pokazywać zbyt optymistyczny obraz automatyzacji. 

Znów od Dorothy Graham: Test A trwa 5 minut, więc wykonujmy go 12 razy na godzinę przez 2 godziny. Daje to 24 * 4 godziny EMTE = 96 godzin. Dzięki temu korzyści będą wyglądać naprawdę świetnie!

Problem polega na tym, że po pierwszym uruchomieniu, pozostałe 23 przebiegi są wykonywane tylko po to, aby dobrze wyglądać, a nie po to, aby uzyskać korzyść w zakresie przeprowadzania danego testu. 
 
Dodatkowo, metryka nie pokazuje kosztów związanych z przygotowaniem i utrzymaniem automatyzacji.

Źródła:
https://dorothygraham.blogspot.com/2010/10/automation-benefit-measured-by-emte.html
http://edu.ittraining.pl/material/Sylabus-ISTQB-Poziomu-Zaawansowanego-Inzynier-Automatyzacji-Testowania-PL

To powinno Cię zainteresować