Najlepszy tester

Wychodząc z założenia, że testerską pracę można określić w zakresie kosztów i wartości wnoszonej do projektu, można pokusić się o wskazanie, który tester wnosi największą wartość projektową. 

W prezentacji „TEST to nie PRZYPADEK” proponuję podział testerów ze względu na staż oraz dorzucenie do tego automatyków. Co ważne, dla wszystkich testerów opisanych w tej analizie mówimy o wykonywaniu bardzo zbliżonych testów, wszystkich na GUI, czyli na graficznym interfejsie użytkownika. Dlaczego takie założenie? Dlatego, że ich praca jest do siebie zbliżona i cele stawiane przed nimi są sobie najbliższe.

Założenia wstępne

Na potrzeby tej analizy założyłem, że pracujący już w zawodzie tester rozwija się po następujących rolach:

1. Operator – pierwszy krok w rozwoju testerskim; wykonanie testów bez kreatywności i bez samodzielności, w oparciu o predefiniowane instrukcje.
2. Junior – osoba o podstawowej wiedzy testerskiej i niewielkim doświadczeniu; wykonane testy to zazwyczaj szczegółowo opisane przypadki testowe z zaszytymi danymi testowymi.
3. Mid- - tester z doświadczeniem 1-2 lata, z ugruntowaną wiedzą teoretyczną i dobrą praktyką; uruchamiający testy w formie wysokopoziomowych przypadków testowych.
4. Mid+ - osoba z doświadczeniem 2-5 lat z ugruntowaną wiedzą i praktyką testerską; uruchamiający test chartery w ramach testów eksploracyjnych, choć oczywiście mogący również pracować z innymi formami testów. 
5. Senior – ekspert testerski o doświadczeniu 5+; wykonuje testy w formie prostych poleceń i zadań bez konieczności zbierania metryk, a jego deklaracja, że coś działa jest wystarczającym potwierdzeniem, że działa.
6. Automatyk – osoba o dowolnym doświadczeniu testerskim, z założeniem podstawowych kompetencji programistycznych; osoba pisząca i uruchamiająca skrypty testowe (po GUI).

Konfrontacja

Mając już zdefiniowanych naszych „zawodników” możemy ocenić ich w kilku kategoriach i bazując na tym wskazać, kto jest najlepszym testerem.

Użycie danych / technik / wzorców / praktyk

Dokonuje tu kolejnego założenia odnośnie do kompetencji testerów na różnym poziomie rozwoju i w danej roli. Możecie to skonfrontować z własnymi doświadczeniami i określić, czy rzeczywiście tak jest. 

Poniższa tabelka pokazuje, jakimi zbiorem kompetencji mogą się pochwalić poszczególni testerzy:

Patrząc na zakres stosowanych praktyk można uznać, że największą wartość do projektu może wnieść SENIOR, czyli w naszej bitwie pierwszy punkt dla osób z największym doświadczeniem. 

Koszty pracy

Kolejną kategorią jest koszt wykonywania pracy. Nie jest tajemnicą i widać to w wielu badaniach, że obecnie najlepiej opłacani są testerzy automatyzujący.

Te dane znajdziecie w raporcie zarobków Bulldogjob z 2023 roku i również w naszych analizach. 

Jednak na koszty pracy testerów nie składają się jedynie koszty pensji pojedynczej osoby, ale także koszty osób, które muszą być zaangażowane w wykonanie przez nich pracy. Część kosztów możemy uznać za uniwersalne, ale część możemy określić jako unikalne dla danej roli lub też jako wymagana na większym poziomie doświadczenia. Pokazuje to poniższe zestawienie:

Przykładowo dla ról o niewielkim doświadczeniu bardzo ważne są dwa dodatkowe koszty: koszt napisania dla nich testów w formie możliwej do uruchomienia oraz koszty kontroli wykonania tych testów, które często są obowiązkiem managera lub bardziej doświadczonego testera. Innym aspektem jest koszt kształcenia. Składają się na niego kursy, certyfikaty czy mentoring. Nieobecność tego kosztu wśród mid+ i seniorów nie wynika z ich braku edukacji, ale z tego, że zazwyczaj testerzy na wyższym poziomie doświadczenia raczej utrzymują swoją wiedzą i nadążają za nowinkami rynkowymi, niż rzeczywiście biorą udział w zorganizowanej edukacji.

Z tej perspektywy najbardziej opłacalna staje się rola mid+ i to jej przyznajemy jeden punkt.

Koszty utrzymania testów

W kolejnej kategorii uwzględniamy koszty utrzymania testów, czyli dodatkowy koszt związany z tym, by wszystkie instrukcje oraz nisko- i wysokopoziomowe przypadki testowe były aktualne. Te koszty pojawiają się dla każdej roli z wyjątkiem seniorów i to ich uznajemy za zwycięzców tej kategorii, choć i dla midów te koszty nie są bardzo wysokie. Są za to skrajnie wysokie dla operatorów, juniorów oraz automatyków.

Samodzielność / pierwszy test

W tej sferze również wygrywają wszyscy Ci, którzy mają zdolność do uruchomienia pierwszego testu i są to midzi oraz seniorzy. Warto podkreślić, że pierwszy test nigdy nie jest automatycznym, a napisanie szczegółowych testów lub instrukcji wymaga samodzielnego sprawdzenia testu przez jego projektanta. 

Kto jest najlepszym testerem?

Zanim przejdę do podsumowania, chciałbym jeszcze omówić kilka aspektów, które powinny nam pomóc wskazać najlepszego testera.

Pierwsza rzecz to to, że seniorzy są drugą najlepiej zarabiającą grupą w testowaniu, ale jednocześnie warto też podkreślić, że seniorzy przed pandemią i w czasie boomu na IT byli grupą, która była najbardziej poszkodowana na poziomie finansowym. Często nowo zatrudniane osoby w organizacjach dostawały większe pensje niż osoby, które już w tych organizacjach pracowały od dawna. Dla testerów testujących manualnie GUI stworzył nieprzebijalny szklany sufit, którego nie widać u automatyków czy u programistów. 

Innym aspektem do przeanalizowania jest nieśmiertelna myśl Janusza Filipiaka - „Specjalistę można zastąpić skończoną liczbą studentów”. Jeśli zastosujemy następujące podstawienie:

„Specjalista” = Mid+/ Senior / Automatyk
„Student” = Operator / Junior / Mid-

i uwzględnimy, że przy pensji seniorskiej opisanej powyżej (7708 zł), w etacie jednego seniora zmieścimy 2/może 2,5 etatu juniorskiego, to nagle znajdzie swoje uzasadnienie trend, jaki w 2023 zdominował rynek. Okazało się, że firmy były bardziej skore do zatrudniania mid+ i seniorów niż juniorów, uznając to mimo wszystko za bardziej opłacalne. 

Kto więc z naszej analizowanej grupy dostarcza największą wartość w relacji jakości do ceny? Kto jest najlepszym testerem?

...

To zależy.

Na potrzeby tej analizy dokonałem bardzo wielu, a może zbyt wielu założeń. Każda organizacja jest inna i funkcjonuje w różnych warunkach rynkowych. To, jakich testerów zatrudniamy, nie wynika tylko z przytoczonych przeze mnie czynników, ale również z:

• kontekstu projektu i produktu
• celu, jakie dana osoba ma osiągnąć
• zasobów, jakimi dysponuje organizacja
• zadaniami, jakie są do wykonania.

A to również nie wyczerpuje tematu, bo na to wszystko należy nałożyć jeszcze wiele innych aspektów, w tym np. dostępność seniorów i midów+ na rynku pracy.

Dziękuję wszystkim uczestnikom 3QA za wysłuchanie mojej prelekcji, dyskusję i uwagi.