W największym uproszczeniu testy mogą kończyć się jako zakończone powodzeniem (ang. passed), co oznacza, że oprogramowania działa zgodnie z testem lub zakończone niepowodzeniem (ang. failed), czyli oprogramowanie zachowało się inaczej, niż opisuje to test. Tak ograniczone potraktowanie statusów może powodować, że nie jesteśmy w stanie poprawnie opisać niektórych sytuacji po uruchomieniu testów, jak np. testu nie da się z jakiegoś powodu ukończyć albo gdy tester nie jest w stanie określić, czy test zakończył się powodzeniem, czy też nie.
Przyjrzymy się statusom testów z IBM Engineering Lifecycle Management 7.0.0. Nie dlatego, że jest to unikalny i rekomendowany sposób opisywania testów, ale ponieważ jest to dość rozpoznawalna marka na rynku.
Proponowane stany testów.
Źródło:
Stan wykonania | Standardowa definicja |
---|---|
Powodzenie / Passed | Test uważa się za zaliczony, jeśli jego rzeczywisty wynik jest zgodny z wynikiem oczekiwanym. |
Niedokończony / Incomplete | Przypadek testowy, którego wykonanie nie zostało zakończone z różnych powodów. |
Częściowo zablokowany / Partially Blocked | Przypadek testowy, którego nie można całkowicie wykonać, ponieważ niektóre warunki wstępne jego wykonania nie są spełnione. |
Niejednoznaczny / Inconclusive | Przypadek testowy, który daje wynik, który nie ma jednoznacznego wyniku i wymaga dalszych badań. |
Niepowodzenie / Failed | Test uznaje się za nieudany, jeśli jego rzeczywisty wynik nie odpowiada wynikowi oczekiwanemu. |
Błąd / Error | Test generuje wynik Błąd, gdy podczas samego testu występuje problem (na przykład błąd sieci lub błąd w skrypcie testowym uniemożliwiający kontynuację). |
Zablokowany / Blocked | Przypadek testowy, którego nie można uruchomić, ponieważ nie zostały spełnione warunki wstępne jego wykonania. |
Niemożliwy / PermFailed | Przypadek testowy, którego głównym celem było sprawdzenie funkcjonalności, która nie jest już dostępna w produkcie. |
Odroczony / Deferred | Przypadek testowy, którego nie można całkowicie wykonać w jednej wersji, ale prawdopodobnie zostanie uruchomiony w późniejszej wersji produktu. |
Wstrzymany / Paused | Przypadek testowy, który został wstrzymany w trakcie wykonywania. |
W trakcie / In Progress | „W trakcie” jest często ustawiany automatycznie, aby wskazać aktualnie uruchomiony przypadek. |
Nieuruchomiony / Not Run | Przypadek testowy, który nie został jeszcze uruchomiony. |