Test testera

Wiele osób próbuje sobie odpowiedzieć na pytanie, jaki jest poziom ich kompetencji w testowaniu. Ciężko to określić całościowo w prosty sposób, ale można weryfikować konkretne zdolności. Istnieje wiele wymaganych w zawodzie testera cech i umiejętności.

Będą to na pewno:

• zrozumienie kontekstu,
• przekazywanie informacji o jakości,
• raportowanie defektów,

itd.  

We współczesnym świecie IT ciągle wysoko ceniona jest również umiejętność szybkiego dostrzegania ważnych defektów. Na tę kompetencję składa się wiele elementów, które wyróżniają dobrego testera. Są to:

• wiedza, jak działają systemy informatyczne
• świadomość kontekstu danej aplikacji
• umiejętność wskazania funkcji podatnych na problemy
• zrozumienie, gdzie mogą wystąpić defekty
• odróżnienie defektów ważnych od trywialnych. 

 
Na czym polega test?

Test został wymyślony przeze mnie na potrzeby rekrutacji, a wieloletnie obserwacje testerów pozwoliły mi określić wartości i progi. Udało się je również zweryfikować podczas ośmiu edycji TestingCup. Test polega na wskazaniu defektu w możliwie najkrótszym czasie, w oprogramowaniu, które przede wszystkim jest nieznane "testowanemu testerowi". Oprócz tego powinno być rozwiązaniem z GUI, co ogranicza konieczność konfigurowania jego środowiska. Stawiamy raczej na oprogramowanie, które jest w zaawansowanych, ale jeszcze nieukończonych działaniach rozwojowych. Nie powinno być ono w tym czasie stabilizowane ani działać od wielu lat na produkcji. W takim sofcie trudno jest znaleźć jakiekolwiek defekty, a co dopiero ważne i do tego - w krótkim czasie. 

Jeśli więc szukamy oprogramowania do „testu testera”, to na początku warto poszukać informacji o jakichś premierach lub dużych aktualizacjach w serwisach internetowych, aplikacjach mobilnych czy też desktopowych. Dodatkowo test nie może być wspierany narzędziami testerskimi. 
 

Defekty jakie znajdujemy w tym czasie możemy podzielić na trzy kategorie: 

• trywialne – literówki, dobór czcionek i kolorów,  przesunięcie elementów itp.,
• średnie – niewielkie problemy w działaniu funkcji,
• ważne / krytyczne - niedziałająca funkcja, luka bezpieczeństwa.

 
Progi w teście testera

Poniżej 1 minuty – znalezienie defektu ważnego w takim czasie wymaga nie tylko wspomnianych umiejętności, ale również testerskiego szóstego zmysłu lub też szczęścia. Wyróżnia jednostki wybitne; jeśli uda Ci się w tym czasie znaleźć jakikolwiek defekt, możesz ocenić się jako bardzo dobry tester.

1–3 minuty – taki czas nie pozwala jeszcze na sięgnięcie do specyfikacji produktu, wymaga więc znajomości wielu typów aplikacji; znalezienie w tym czasie defektu średniego wskazuje już na dobrego testera, a ważnego na bardzo dobrego.

Powyżej 3 do 5 minut – to już naprawdę sporo czasu na testy; dobry tester w tym czasie powinien mieć na liście przynajmniej jeden defekt ważny; tester o przeciętnych kompetencjach powinien mieć przynajmniej defekt średni.

Powyżej 5 do 10 minut –  tu mamy już wystarczająco dużo czasu, aby sięgnąć po specyfikację i znaleźć rozbieżność między nią, a działaniem oprogramowania; tester przeciętny będzie miał na liście defekt ważny, natomiast brak zaraportowanego defektu średniego wskazuje na niewielkie umiejętności w testowaniu lub nieszczęśliwe trafienie na aplikację pozbawioną defektów.

W poniższej tabeli, w lewej kolumnie mamy krytyczność defektów, w rzędzie górnym czas poświęcony na znalezienie defektu. Na ich przecięciu, jako wypełnienie tabeli, pojawia się skala wyniku od niedostatecznego do wybitnego. 

Osobnym wskazaniem na brak wystarczających kompetencji do pracy testera będzie:

• poddanie się – nieznalezienie jakiegokolwiek defektu, 
• zaraportowanie defektu w innej kategorii niż tej, do której powinien należeć,
• zaraportowanie defektu, który nie jest defektem.

Ten ostatni punkt może być dyskusyjny, gdyż zachowanie postrzegane przez testera jako niepoprawne, może być opisane jako poprawne. W takim wypadku należy rozstrzygnąć to przy pomocy popularnych, podobnych aplikacji.

Swoją skuteczność w wyszukiwaniu defektów możesz potwierdzić przez wielokrotne uruchomienie testu na różnych aplikacjach. Inną możliwością jest test tej samej aplikacji, uruchomiony przez kilku testerów. Można wtedy zestawić swoje wyniki.