Redakcja
Wiele jest metodyk umożliwiających weryfikację. W tym miejscu jednak, chciałbym uciec od dyskusji o szkołach i wyższości jednych świąt nad drugimi. Chcę zastanowić się nad uzasadnieniem tezy, że warto jest w testach śledzić pokrycie wymagań oraz zaproponować pewien prosty mechanizm.
Z ogólnie pojętych względów „higienicznych” zakładam, że proces testów jest uruchamiany możliwie najwcześniej. Zakładam też – na użytek tego tekstu – że sama jakość pokrycia wymagań przypadkami testowymi - ergo jakość testów - zależy zarówno od jakości samych wymagań, jak również od kunsztu testera projektującego przypadki testowe. A więc odbijamy...
Po co nam mapa... to znaczy po co śledzić pokrycie wymagań? Tak naprawdę udało mi się zidentyfikować dwa twarde cele. Pierwszy i zasadniczy to zapewnienie, że komplet wymagań zostanie przetestowany. Jeśli wykonanie testów ma nam dowieść, że oprogramowanie, które otrzymaliśmy, jest tym, które zamawialiśmy, to ta metoda wydaje się jedną z najbardziej rozsądnych.
Drugim celem wynikającym pośrednio z pierwszego jest przygotowanie i zaprojektowanie przypadków testowych. Tutaj skłaniam się do opinii mówiącej, że dopóki faza projektowania testów nie zostaje osadzona w kontekście konkretnych wymagań, dopóty projektowanie przypadków opiera się o ogólne pojęcie na temat "co to ma robić".
Z drugiej strony można pokusić się o tezę, że jeśli wymagania na oprogramowanie wyczerpują istniejące i nowe ale zdefiniowane procesy biznesowe, to testując te procesy jednocześnie weryfikujemy poprawność dostawy. Moim zdaniem sposób ten nie jest lepszy. Procesy biznesowe są czymś żywym, co nie zawsze odzwierciedla pierwotne oczekiwania i założenia. Przy zderzeniu z oprogramowaniem „obsługującym” ten proces takie zjawiska trudno przyporządkować do kategorii błędów procesu lub oprogramowania.
Rynek oprogramowania komercyjnego, jak również społeczność oprogramowania wolnego, oferuje przeróżne mechanizmy śledzenia pokrycia. Od prostego pliku tekstowego, przez pakiety biurowe typu arkusz kalkulacyjny, po zaawansowane systemy do zarządzania wymaganiami lub testami, aż po wielkie kombajny do zarządzania całymi procesami wytwórczymi.
Czegokolwiek byśmy nie użyli, w początkowej fazie i tak wszystko opiera się na deklaracji człowieka, że dany przypadek testowy pokrywa dane wymaganie. Żaden system informatyczny na świecie nie potrafi odpowiedzieć na to pytanie sam z siebie. Potrafi natomiast ostrzec nas jeśli zmieni się cokolwiek w jednym lub drugim bycie, wpływając na relację między przypadkiem a wymaganiem, co znakomicie ułatwia pracę.
W takiej sytuacji wielokrotnie sprawdziła się matryca przygotowana w arkuszu kalkulacyjnym, którą nazywam RTM, od angielskiego Requirements Traceability Matrix. Zakładając, że wymagania są spisane w jakiejkolwiek formie, proces przygotowania można przedstawić w następujących krokach:
1. Wierne przekopiowanie treści wymagań do drugiej kolumny arkusza. Staram się w tym kroku dzielić wymagania na "atomowe" porcje rokujące szanse na możliwość indywidualnego przetestowania. Staram się także zachować strukturę nagłówków w dokumencie źródłowym.
2. Każdemu wierszowi nadaję unikalny identyfikator umieszczony w pierwszej kolumnie.
3. Oznaczam te wpisy, których nie da się przetestować. Z reguły są to tytuły rozdziałów, opisy otoczenia, itp.
4. Organizuję sobie cykl życia... czyli po prostu robię założenie, że pojedyncze wymaganie może być w jednym ze zdefiniowanych z góry statusów wpisanych do trzeciej kolumny, np.:
a. Nie testowalne - opisane powyżej
b. Nie pokryte - wymaganie wymaga testowania, ale nie ma żadnego przypadku, który by je pokrywał
c. Pokryte - istnieje przynajmniej jeden przypadek testowy, sprawdzający ten konkretny zapis
d. Poza zakresem - wymaganie zostało "wyjęte" z zakresu projektu
5. Zostawiam miejsce na dane statystyczne.
6. W pierwszym wolnym wierszu wolnej kolumny zaczynam wpisywać identyfikatory przypadków. Na skrzyżowaniu przypadku z wymaganiem stawiam literę:
a. "P", oznaczający, iż ten przypadek pokrywa to konkretne wymaganie testem pozytywnym
b. „N”, oznaczający, iż ten przypadek pokrywa to konkretne wymaganie testem negatywnym
Przygotowanie, a potem utrzymanie takiego pliku, wymaga pracy i cierpliwości, dlatego nie zawsze przygotowanie takiego dokumentu ma sens. Mi udało się określić kilka uzasadniających zastosowanie RTM okoliczności:
• warto to zrobić na zatwierdzonej i ostatecznej wersji wymagań. Inaczej nieustannie będziemy musieli przerabiać nasz plik, a kontrola "zmian do zmian" jest zawsze trudna
• aby ten mechanizm był adekwatny, musi istnieć oficjalny mechanizm kontroli zmian, dostarczający informacji co i jak się zmieniło na poziomie wymagań
• zdecydowanie nie warto stosować RTM jeśli zakres projektu nie jest szeroki i np. da się go przetestować testami regresyjnymi lub mechanizmem "Test to fail"
• nie istnieje bezpośrednia komunikacja pomiędzy dostawcą i odbiorcą oprogramowania i propagacja zmian wymagań jest powolna
No dobrze, ale skoro stworzenie i utrzymanie takiego pliku jest mozolne, to po co w ogóle robić coś takiego? Pierwsza i oczywista odpowiedź brzmi: "po to, aby określić dokładnie zakres testów, jeśli ten zakres jest mierzony liczbą przypadków testowych". Znajdują tutaj oczywiście zastosowanie przeróżne metody szacowania, jednak założeniem z gatunku "twardych" jest to, że minimalna liczba przypadków testowych jest równa liczbie ponumerowanych unikalnie wymagań w statusach „nie pokryte” i „pokryte”.
Innym oczywistym celem jest kontrolowanie zawartości dostaw. W tym aspekcie przydatność tego mechanizmu jest nieoceniona. Pozwala sprowadzić wszelkie dyskusje o tzw. ograniczeniach technologicznych, projektowych, itp. do twardych konkretów, gdzie podjecie decyzji skojarzone jest z konkretną zmianą i ewentualnym ubytkiem funkcjonalności.
Odseparowanie poszczególnych wymagań ułatwia także wyłowienie tych uwarunkowań, które wymagają testów negatywnych. Testów, które czasami postrzegane są jako nadmiarowe lub zbędne, a które również pozwalają dowieść, że jesteśmy w Indiach a nie w Ameryce.
Konsekwencją pożytków wymienionych powyżej jest ogromne ułatwienie pozwalające kontrolować ekonomię testów, czyli dobrać w efekcie tyle przypadków testowych, ile jest niezbędne do zbadania danego zakresu. Pozwala na bardziej dokładne planowanie.
Inną zaletą rozebrania tekstu wymagań na czynniki pierwsze jest ujawnienie nieścisłości, dwuznaczności lub rozbieżności, które w inny sposób trudniej wychwycić. To z kolei pozwala na przygotowanie wkładu do wymagań od strony jakości. Z tej też przyczyny, uważam, że rozpoczęcie fazy analizy testowej wymagań powinno zacząć się niezwłocznie po ich zatwierdzeniu.
"Światek IT" do znudzenia powtarza tezę, że defekt wcześnie wykryty jest tańszy w naprawie, niż defekt wykryty późno. Śledzenie wymagań także w tym przypadku przychodzi nam z pomocą. Mając informację o tym, co jest pokryte przez przypadki testowe, i które z tych przypadków zostały wykonane z jakim wynikiem - możemy podjąć decyzję, czy dana dostawa spełnia wymagania akceptacji. Jeśli pokrycie jest kiepskie ze względu na zakres lub wyniki wykonania, to łatwo jest dowieść, że nie spełnia ona kryteriów akceptacji. Pozwala to uniknąć zjawiska, które nazywam "eksplozją dostawy", polegającym na „objawieniu się” dużej liczby defektów o wysokiej ważności na poziomie testów akceptacyjnych będących z reguły testami biznesowymi.
W dzisiejszych czasach coraz częściej liczy się koszty. Także w przypadku procesu śledzenia pokrycia one się pojawiają. Przede wszystkim będzie potrzebny czas projektowy dla przygotowania, realizacji i utrzymania takiej procedury. Dotyczy to również zasobów projektowych.
Jeśli z góry wiemy, że mechanizm RTM nie będzie wykorzystywany w dalszych etapach projektu, należy zaniechać go w ogóle. Przestarzała i nieaktualna informacja o pokryciu może stać się bardziej niebezpieczna niż jej brak. Z drugiej strony, aktualizacja takiej informacji wymaga nieustannego śledzenia zmian pochodzących z wszelkich możliwych źródeł (klient, development, zarząd, kierownik projektu, itp).
Nie oceniłbym śledzenia pokrycia jako procesu istotnego z punktu widzenia projektu, jednak jest niezwykle istotny z punktu widzenia ścieżki testowej. Samo śledzenie nie zapewni nam wysokiej jakości w poszczególnych wydaniach. Należy pamiętać, że śledzenie pokrycia odbywa się na linii rezultat oczekiwany w postaci kodu programu komputerowego a zasięg testów. W żaden sposób nie sięga do sposobu i zakresu implementacji, a tym bardziej do sposobu w jaki przygotowane będą testy.
A więc nadal – chcąc przetestować rozwiązanie – potrzebni nam będą wykwalifikowani testerzy z dostępem do wiedzy i dokumentacji oraz wszelkie narzędzia i metody konstruowania poprawnych testów.
Mechanizm RTM nie przyniesie nam także oszczędności w samym projekcie - przynajmniej na początku. Jednak w fazie wykonania testów pozwala ograniczyć zakres wykonywanych testów do niezbędnego minimum, uwzględniając przy tym testy negatywne.
To może - skoro próba śledzenia pokrycia jest tak mozolna - lepiej zrezygnować z takiej metody? Ta decyzja z pewnością otwiera przed nami inny zestaw możliwości definicji pokrycia, o których tutaj nie będziemy szerzej mówić (np. definiowanie zakresu jako zbioru procesów biznesowych (przydatne na końcowym etapie ATP), testy "end-to-end" weryfikujące tylko wejście i wyjście, itp.).
Przy takim jednak podejściu mam wrażenie, sama ekonomia testów jest zagrożona ze względu na ryzyko nadmiarowych lub brakujących przypadków testowych.
Śledzenie pokrycia zdaje mi się także odporne na generowanie fałszywych przypadków - oczywiście przy założeniu, że zajmuje się tym zawodowy tester.
Szczególnie groźna jawi mi się w tym aspekcie tendencja do testowania wymagań całościowo. Zdarzało mi się spotykać wymagania, które brzmiały w sposób następujący "Codzienna sprzedaż kontrolowana będzie raportem". Ponadto brakowało jakiejkolwiek wzmianki na temat tego, jakie informacje mają znajdować się w raporcie, z jakich danych ma korzystać ten raport, jakie są stosowane agregacje, itp. Co gorsze, zadając te pytania ludziom odpowiedzialnym za projekt, widziałem po ich reakcji, że nie widzą w braku tych informacji, żadnego powodu do zmartwienia. Taki drobny brak umknął w dyskusji o bardziej istotnych funkcjonalnościach, co jest naturalne.
Rezygnacja ze śledzenia pokrycia przynosi z drugiej strony korzyści takie jak zaoszczędzenie na zasobach i czasie projektu w obrębie danej fazy projektu. Otwartym pozostaje pytanie, co z takimi oszczędnościami dzieje się w następnych częściach projektu.
Rezygnacja ze mechanizmu RTM w żaden sposób nie eliminuje możliwości przetestowania danego rozwiązania, gdyż nadal dysponujemy innymi metodami szacowania zakresu i weryfikowania dostaw.
Jak wspomniałem powyżej, wyzwaniem w tym mechanizmie wydaje się śledzenie zmian do wymagań - wynika to z bezpośredniego przełożenia zmiany na testy. Właściwie odważyłbym sie postawić tezę, że każda zmiana wymagań wymaga ponownej analizy pokrycia w zakresie zmiany. Należy tutaj pamiętać, iż o ile na poziomie wymagań zmiana przestaje być zmianą w chwili jej akceptacji, o tyle na poziomie testów taka zmiana jest zmianą dopóki jej pokrycie nie zostanie przeanalizowane.
Podsumowując ten przydługi wywód, zastosowanie proponowanej metody stanowi świetny pretekst do szczegółowej dyskusji na temat poszczególnych wymagań. Dostarcza świetnego mechanizmu monitorowania zasięgu zmian dokonywanych na poziomie wymagań. A ponad wszystko, stanowi logiczną i mierzalną platformę projektowania przypadków testowych.
Autor: Tomasz Zdanowicz, twórca kultowego http://termometr.blogspot.com/
marzec 2013
