Na czym polega audyt zespołu testów i QA?
Audyt to niezależne spojrzenie na sposób, w jaki w projekcie organizowane są testy i zapewnienie jakości.
Przyglądamy się nie tylko samym testom, ale również temu, jak pracuje zespół, jak wygląda proces, z jakich narzędzi korzysta i czy cały sposób działania rzeczywiście pomaga dostarczać dobry produkt.
W zależności od potrzeb możemy przeanalizować m.in. kompetencje zespołu, strategię testów, automatyzację, regresję, środowiska testowe, CI/CD, zarządzanie defektami czy wykorzystanie AI.
Nie chodzi nam o stworzenie kolejnej listy problemów. Chcemy znaleźć ich przyczyny, określić, co z nich wynika dla projektu i wskazać, co warto zmienić w pierwszej kolejności.
Audyt może dotyczyć całego obszaru QA albo jednego konkretnego problemu - np. zbyt długiej regresji, niestabilnych testów automatycznych, dużej liczby błędów na produkcji czy trudności z oceną, czy produkt jest gotowy do wydania.
Kiedy warto przeprowadzić audyt?
Należy się nad nim zastanowić, jeśli:
- kolejne wydania wiążą się z dużym ryzykiem
- błędy są znajdowane dopiero na produkcji
- regresja zabiera coraz więcej czasu
- automatyzacja zamiast pomagać, zaczyna generować dodatkową pracę
- wyniki testów nie dają zespołowi pewności, że produkt jest gotowy
- nie ma jednej, spójnej strategii jakości
- nie jest jasne, kto i za co odpowiada w obszarze QA
- zespół szybko się rozrósł i potrzebuje uporządkowania sposobu pracy
- firma chce wykorzystać AI w testowaniu, ale nie wie, gdzie ma to sens
- przed ważnym wydaniem potrzebna jest niezależna ocena i rekomendacja GO/NO-GO
Co możemy sprawdzić?
Nie mamy jednego sztywnego zakresu audytu. Dobieramy go do problemu, z którym mierzy się zespół, oraz do sytuacji konkretnego projektu.
Dojrzałość zespołu i procesu QA
Sprawdzamy, jak zorganizowana jest praca zespołu i jak QA współpracuje z developmentem, biznesem oraz innymi osobami zaangażowanymi w projekt.
Analizujemy:
- role i odpowiedzialności
- planowanie i monitorowanie testów
- zarządzanie defektami i ryzykiem
- wykorzystywane metryki
- kompetencje zespołu
- miejsce QA w procesie wytwarzania produktu.
Na tej podstawie wskazujemy najważniejsze problemy i obszary, które wymagają poprawy.
Automatyzacja testów
Sprawdzamy, czy automatyzacja faktycznie pomaga zespołowi, czy stała się kosztownym rozwiązaniem, które wymaga coraz więcej pracy.
Weryfikujemy m.in.
- architekturę i kod testów
- wykorzystywane narzędzia
- stabilność
- czas wykonania
- pokrycie najważniejszych ryzyk
- sposób uruchamiania i raportowania testów.
Sprawdzamy również, gdzie automatyzacja ma sens, a gdzie lepiej z niej zrezygnować.
Regresja i flaky tests
Jeżeli regresja trwa za długo albo zespół przestaje ufać wynikom testów, szukamy przyczyny.
Sprawdzamy m.in.:
- jak zbudowany jest zestaw regresji
- które testy są naprawdę potrzebne
- co powoduje niestabilność
- jak wyglądają dane i środowiska testowe
- ile czasu zajmuje wykonanie regresji
- które testy można uruchamiać równolegle
- czy zakres regresji jest odpowiednio dobierany do wprowadzanych zmian
Celem jest skrócenie regresji i ograniczenie sytuacji, w których zespół traci czas na analizowanie błędów, które w rzeczywistości nie są błędami produktu.
Testy w CI/CD
Sprawdzamy, czy testy uruchamiane w CI/CD dostarczają zespołowi szybkiej i wiarygodnej informacji.
Analizujemy m.in.
- kolejność i rozmieszczenie testów
- czas ich wykonywania
- stabilność środowisk
- raportowanie wyników
- zarządzanie danymi testowymi
- zasady blokowania wdrożeń
Wskazujemy, gdzie można skrócić czas oczekiwania na wynik i jednocześnie zwiększyć bezpieczeństwo wdrożeń.
Strategia testów
Sprawdzamy, czy sposób testowania jest dopasowany do produktu, jego architektury i ryzyka biznesowego.
Analizujemy m.in.
- poziomy i rodzaje testów,
- podział testów manualnych i automatycznych
- testy funkcjonalne i niefunkcjonalne
- dane i środowiska
- zasady podejmowania decyzji o wydaniu
Jeżeli obecna strategia nie odpowiada potrzebom projektu, możemy zaproponować jej zmianę lub przygotować nową.
Wykorzystanie AI w testowaniu
Sprawdzamy, do czego AI jest obecnie wykorzystywane, jakie daje rezultaty i gdzie jego zastosowanie może mieć największy sens.
Możemy przeanalizować:
- projektowanie testów
- automatyzację
- analizę wymagań, defektów i logów
- bezpieczeństwo danych przy wykorzystaniu AI
- sposób weryfikacji rezultatów
Sprawdzamy również zasady wykorzystania AI w organizacji.
Jak wygląda audyt?
Każdy audyt wygląda trochę inaczej. Zależy to od zakresu, wielkości zespołu i problemu, który chcemy rozwiązać.
Najczęściej dzielimy go na etapy:
- Rozmowa i poznanie problemu
Najpierw chcemy zrozumieć, co nie działa, co budzi największe obawy i czego organizacja oczekuje po audycie. - Analiza materiałów
Przeglądamy dostępne dokumenty, testy, raporty, repozytoria, metryki i narzędzia. Jeżeli audyt obejmuje CI/CD, przyglądamy się również konfiguracji pipeline'ów. - Spotkanie z zespołem
Rozmawiamy z osobami odpowiedzialnymi za QA, development i - jeśli jest to potrzebne - również z biznesem. Dzięki temu możemy zobaczyć problem z kilku stron. - Sprawdzenie sposobu pracy
W zależności od zakresu obserwujemy pracę zespołu, analizujemy kod testów, środowiska, procesy i wykorzystywane narzędzia. - Wnioski i rekomendacje
Porządkujemy znalezione problemy, szukamy ich przyczyn i określamy, które z nich wymagają działania w pierwszej kolejności. - Omówienie wyników
Przedstawiamy wyniki audytu, odpowiadamy na pytania i rozmawiamy o tym, co można zrobić dalej.
Co otrzymasz po audycie?
Przede wszystkim konkretną informację o tym, jak wygląda obecnie obszar QA i co warto w nim zmienić.
W zależności od zakresu audytu możesz otrzymać:
- ocenę aktualnego sposobu pracy QA
- wskazanie najważniejszych problemów i ich przyczyn
- mapę ryzyk
- ocenę kompetencji i luk w zespole
- rekomendacje uporządkowane według priorytetów
- listę szybkich usprawnień
- plan dalszego rozwoju
- propozycję metryk do monitorowania zmian
- rekomendację dotyczącą wydania produktu
- materiał pomagający podjąć decyzję GO/NO-GO
Nie tylko pokazujemy, co jest nie tak. Mówimy też, co można z tym zrobić i od czego najlepiej zacząć.
Co może dać audyt QA?
Dobrze przeprowadzony audyt może pomóc:
- ograniczyć liczbę błędów trafiających na produkcję
- zmniejszyć ryzyko problemów przy wydaniu
- skrócić czas regresji
- ustabilizować automatyzację
- ograniczyć koszty utrzymania testów
- zwiększyć zaufanie do wyników testów
- lepiej wykorzystać kompetencje zespołu
- uporządkować proces QA
- rozsądniej wykorzystać AI
- podejmować decyzje o wydaniu na podstawie konkretnych informacji
Dla kogo?
Audyt jest dla firm i zespołów, które chcą sprawdzić, czy ich sposób testowania i zapewniania jakości rzeczywiście działa tak, jak powinien.
Szczególnie dobrze sprawdzi się w projektach, które:
- szybko się rozwijają,
- mają coraz większy zespół QA,
- regularnie mają problemy na produkcji,
- przygotowują się do ważnego wydania lub migracji,
- rozwijają automatyzację,
- muszą uporządkować proces QA,
- przygotowują się do wymagań regulacyjnych,
- potrzebują niezależnej oceny jakości projektu.
Nie wiesz, jaki audyt będzie odpowiedni?
Nie musisz wiedzieć.
Jeżeli widzisz problem - regresja trwa zbyt długo, testy są niestabilne,
na produkcję trafia zbyt dużo błędów albo koszty QA rosną - opisz nam sytuację.
Pomożemy ustalić, co warto sprawdzić
i jaki zakres audytu będzie miał w tym przypadku największy sens.
