Rezultaty uruchomienia testów

Rezultaty uruchomienia testów
Każdy uruchomiony test kończy się jakimś rezultatem. W projektach statusów czy stanów testów pojawia się wiele i często każda organizacja ma swoje. Przyjrzyjmy się tematowi w przykładzie.

W największym uproszczeniu testy mogą kończyć się jako zakończone powodzeniem (ang. passed), co oznacza, że oprogramowania działa zgodnie z testem lub zakończone niepowodzeniem (ang. failed), czyli oprogramowanie zachowało się inaczej, niż opisuje to test. Tak ograniczone potraktowanie statusów może powodować, że nie jesteśmy w stanie poprawnie opisać niektórych sytuacji po uruchomieniu testów, jak np. testu nie da się z jakiegoś powodu ukończyć albo gdy tester nie jest w stanie określić, czy test zakończył się powodzeniem, czy też nie. 

Przyjrzymy się statusom testów z IBM Engineering Lifecycle Management 7.0.0. Nie dlatego, że jest to unikalny i rekomendowany sposób opisywania testów, ale ponieważ jest to dość rozpoznawalna marka na rynku.

Proponowane stany testów.

Źródło:

Stan wykonania Standardowa definicja
Powodzenie / Passed Test uważa się za zaliczony, jeśli jego rzeczywisty wynik jest zgodny z wynikiem oczekiwanym.
Niedokończony / Incomplete Przypadek testowy, którego wykonanie nie zostało zakończone z różnych powodów.
Częściowo zablokowany / Partially Blocked Przypadek testowy, którego nie można całkowicie wykonać, ponieważ niektóre warunki wstępne jego wykonania nie są spełnione.
Niejednoznaczny / Inconclusive Przypadek testowy, który daje wynik, który nie ma jednoznacznego wyniku i wymaga dalszych badań.
Niepowodzenie / Failed Test uznaje się za nieudany, jeśli jego rzeczywisty wynik nie odpowiada wynikowi oczekiwanemu.
Błąd / Error Test generuje wynik Błąd, gdy podczas samego testu występuje problem (na przykład błąd sieci lub błąd w skrypcie testowym uniemożliwiający kontynuację).
Zablokowany / Blocked Przypadek testowy, którego nie można uruchomić, ponieważ nie zostały spełnione warunki wstępne jego wykonania.
Niemożliwy / PermFailed Przypadek testowy, którego głównym celem było sprawdzenie funkcjonalności, która nie jest już dostępna w produkcie.
Odroczony / Deferred Przypadek testowy, którego nie można całkowicie wykonać w jednej wersji, ale prawdopodobnie zostanie uruchomiony w późniejszej wersji produktu.
Wstrzymany / Paused Przypadek testowy, który został wstrzymany w trakcie wykonywania.
W trakcie / In Progress „W trakcie” jest często ustawiany automatycznie, aby wskazać aktualnie uruchomiony przypadek.
Nieuruchomiony / Not Run Przypadek testowy, który nie został jeszcze uruchomiony.
Źródła:
https://www.ibm.com/docs/en/elm/7.0.0?topic=application-test-execution-states

To powinno Cię zainteresować