ISTQB® Agile Tester 2.0. Recenzja

To, jak ISTQB® widzi zwinne testowanie, było ciekawostką i wiele osób czekało w napięciu na pierwszy sylabus, który to opisze. Niestety. Dostaliśmy wtedy antyagile’owy podręcznik pełen półprawd i prób wciśnięcia formalizmów tam, gdzie one kompletnie nie pasowały. Materiał był tak słaby, że certyfikacja nie spotkała się ze zbyt dużym zainteresowaniem. Teraz, w erze schyłkowej agile’a dostajemy wersję 2.0. Oczywiście na dobry sylabus jest już zdecydowanie za późno, ale możemy mu się przyjrzeć i określić, czy naprawił błędy swego poprzednika i czy warto po niego sięgać. 

Przede wszystkim warto zwrócić uwagę, że ISTQB® Certified Tester Advanced Level Agile Tester v2.0 (na razie tylko po angielsku) to nie jest kosmetyczna aktualizacja poprzedniej wersji z 2014 roku (12 lat czekania!). Certyfikat nie jest już add-onem, a stał się częścią core-owej ścieżki ISTQB®. 

Wersja 1.0 skupiała się głównie na podstawach Agile Testing – kwadrantach testowych, test-first approach, podstawach współpracy i roli testera w Scrumie. W wersji 2.0 założono, że te fundamenty są już standardową wiedzą branżową i część materiału została przeniesiona do Foundation Level 4.0.

Już na pierwszy rzut oka sytuacja wygląda źle.

ISTQB® publikuje razem z sylabusami grafikę, która prezentuje ich zawartość, a ponieważ grafika stanowi wstępne podsumowanie publikacji, widać na niej dwa niepokojące i odbiegające od standardu rozdziały oraz jeden, który wiem, że jest zbędny (Test Process Improvement). Agile nie jest procesem, więc nie da się go usprawniać jak standardowego procesu.

Przyjrzymy się zawartości, a szczególnie nowościom w 2.0.

1. Holistic Testing i systems thinking

Jednym z najmocniejszych elementów nowego sylabusa jest wprowadzenie podejścia holistic testing. Wersja 1.0 była silnie procesowa, natomiast odsłona 2.0 przesuwa akcent na:

• myślenie systemowe,
• współodpowiedzialność zespołu,
• kontekst biznesowy,
• ciągłe uczenie się,
• eksplorację i adaptację.

Sylabus podkreśla też ograniczenia formalnego testowania:

• nadmierną sztywność,
• opóźniony feedback,
• ryzyko pomijania ważnych zachowań oprogramowania.

To bardzo współczesne podejście i dobrze odzwierciedla realia nowoczesnych organizacji produktowych. ALE, to nie jest specyfika jednej z metod testowania. To ważny element całego współczesnego testowania więc umieszczenie tego jedynie w sylabusie Agile jest odebraniem temu zagadnieniu szerokiego audytorium.

2. Znacznie większy nacisk na exploratory testing

W wersji 2.0 exploratory testing przestaje być dodatkiem, a staje się jednym z głównych filarów! Wreszcie. W ISTQB® ET (exploratory testing, przyp. red.) zawsze było ubogim kuzynem formalnego testowania wreszcie dostrzeżono wagę tej strategii testowania. 

Pojawiają się nowe zagadnienia:

• heurystyki testowe,
• mnemoniki,
• test tours,
• test charters,
• mob testing,
• pair testing,
• vibe testing.

ISTQB® przez lata było krytykowane za nadmierny formalizm. Tutaj widać wyraźną inspirację context-driven testing i współczesnym exploratory testing. Kolejne ALE. To nie jest tylko Agile. Tak teraz testuje się software.  

3. Shift Left i jakość wymagań

Wraz z przesunięciem w lewo pojawiają się nowoczesne (a częściowo już przebrzmiałe) praktyki:

• storyboarding,
• testboarding,
• example mapping,
• specification by example,
• user story slicing,
• structured conversations,
• analiza biasów wpływających na jakość produktu.

I choć te treści są krokiem w dobrym kierunku, to jest to krok spóźniony. Gdybyśmy obserwowali jak ISTQB® tańczy w parze z teraźniejszością IT, to spostrzeglibyśmy jak organizacja nie wsłuchuje się w muzykę, tylko patrzy na partnera i nieudolnie oraz z dużym opóźnieniem naśladuje jego ruchy. 

4. Realistyczne podejście do automatyzacji

Automatyzacja nie jest już przedstawiana jako rozwiązanie wszystkich problemów. Sylabus:

• promuje piramidę testów,
• podkreśla wartość szybkiego feedbacku,
• ogranicza rolę ciężkich E2E testów,
• pokazuje koszty utrzymania automatyzacji,
• wskazuje obszary, które nadal powinny być testowane manualnie (exploratory, usability).

To znacznie dojrzalsze podejście niż w starszych materiałach ISTQB® i nie jest oczywiście zawężone tylko do zwinności. 

5. AI i nowoczesny tooling

Nowy sylabus uwzględnia pomoc, jaką dostarcza testerom AI:

• AI-assisted testing,
• generowanie testów przez AI,
• analizę user stories,
• wykrywanie niejednoznaczności wymagań,
• generowanie danych testowych,

Jest to oczywiście potrzebny i oczekiwany kierunek, choć temat jest jeszcze potraktowany dość powierzchownie.

Słabe strony 

1. Sylabus stał się mocno „filozoficzny” co rodzi obawy o możliwość przygotowania zamkniętych pytań egzaminacyjnych bez możliwości interpretacji.

Niektóre fragmenty brzmią bardziej jak rozważania współczesnego testera, niż materiał certyfikacyjny. Przykładowo:

• systems thinking,
• organizational culture,
• sociotechnical factors,
• continuous improvement as hypotheses,
• collaboration narratives.

To oczywiście wartościowe idee, ale opierające się na standaryzacji. Sumarycznie pojawia się ryzyko rozmycia praktycznego zakresu egzaminu.

2. Duża objętość zupełnie nowych pojęć.

Jest bardzo dużo nowej terminologii, która nie ma za wiele wspólnego z tym, co do tej pory widzieliśmy w sylabusach:

• tissue testers,
• vibe testing,
• example mapping,
• few hiccupps.

Szczególnie pojęcia jak „Tissue Testers” każą nam się mocno zastanowić nad konstrukcją sylabusa. Nie jest to w żaden sposób uźródłowione, więc zostało wymyślone przez jednego z autorów. Gdzie byli pozostali, aby powstrzymać tę bzdurkę? Czy to ma być jakiś papierek lakmusowy, by sprawdzić, czy ISTQB® ma jeszcze moc tworzenia nowych pojęć w IT? Na ten moment jest to niepojęte. 

Część z tych pojęć nie jest jeszcze szeroko ustandaryzowana w branży i nie wiadomo nawet jak długo przetrwają. 

3. Od pewnych rzeczy nie uciekniemy.

Samoorganizujące się zespoły TAK, ale oczywiście klasyczny Test Management też musi być. I to na cały rozdział. 
 
Mamy cały klasyczny oldschool wciśnięty w Agile:

• strategie
• planowanie
• metryki
• usprawnianie procesów 

4. Nadal widoczny „ISTQB® style”

Mimo dużej poprawy:

• dokument nadal jest bardzo akademicki,
• miejscami przeładowany definicjami,
• ma silne podejście katalogowe.

To już nie jest problem tak duży jak dawniej, ale nadal odczuwalny.

Ogólna ocena

Czy v2.0 jest lepsza od v1.0? Zdecydowanie tak.

To jedna z najbardziej udanych modernizacji sylabusów ISTQB® ostatnich lat, ale to nie jest sylabus dla zwinnego testera! To jest wiedza i metody współczesnego testera. 

Ten sylabus bardziej pasuje mi ciągle jako dodatek do poziomu podstawowego, nie jako „agile tester”, a jako „modern tester”. Ciągle ma swoje braki, ale to wartościowa lektura.