Testowanie oprogramowania z wykorzystaniem generatywnej AI. Recenzja + konkurs [ZAKOŃCZONY]

Zgodnie z dostępnymi badaniami pojawienie się AI przyczyniło się do spadków czytelnictwa. Czy w takim razie pisanie książek o AI ma sens? Skoro AI jest bardzo szybko rozwijającym się narzędziem, to czy ciągle możemy mówić o jakiejś fundamentalnej wiedzy, którą można zawrzeć w książce? I jeszcze zebrać ją w wykutej w skale formie, aby w przyszłości ciągle była aktualna? Zapewne nie. Można jednak napisać książkę, która podsumowuje obecną wiedzę w tej dziedzinie i potraktować ją jako punkt startowy do tego, by dziś zacząć pracę z generatywną AI. 

Zacznijmy od internetowego opisu książki. Co obiecuje wydawca kontra to, co rzeczywiście możesz mieć z tej książki. Helion opisuje w punktach czego nauczysz się z publikacji i generalnie dowozi to, co obiecuje. 

 
Może z małym uwagami i gwiazdkami, ale o tym za chwilę. 

Rozczarowujące są jednak niektóre opinie podane w opisie książki online np. ten od dr Ron Hubler z Capgemini „Im więcej testów, tym lepszy kod!” czy „Za pomocą pragmatycznych przykładów nauczysz się szybszego dostarczania oprogramowania wyższej jakości!” - Ankit Virmani, Google. Te mity testowania oprogramowania powielone w opisie książki raczej działają na jej niekorzyść. Nie, testowanie nie staje się lepsze przez więcej testów i NIE, testowanie nie dostarcza jakości. Testowanie dostarcza informacji o jakości, ale nie dostarcza jakości produktów. Robią to zespoły wytwórcze. Tytuł książki nie brzmi jednak „Wytwarzanie oprogramowania z wykorzystaniem generatywnej AI.”. Autor czytelnie odcina się od tych mitów pisząc m.in. „LLM-y oferują nam kolejną potencjalną drogę do poprawy jakości i zakresu naszych testów”, czyli odnosi jakość do jakości testów, a nie jakości całego oprogramowania. 

Na szczęście mity z opisu zostały powielone w książce. Możemy wspólnie odetchnąć. 

No i jeszcze trzy słowa na temat okładki. 

Oryginał:

Polskie tłumaczenie:

Nie wiem czym kierują się autorzy okładek. Oczywiście człowiek w pirackiej chuście na głowie nie jest mistrzostwem wizualizacji testowania, ale to, że każda okładka testerskiej książki w Polsce musi mieć pająka, robala (albo dwa), zielonego tick-a oraz lupę, zahacza już o śmieszność.

No i jeszcze mały pstryczek w kierunku tłumacza. Są takie określenia w książce (w innych informatycznych również), których nie rozumiem i chciałbym zobaczyć oryginał aby określić, o co chodzi. „Dyrektor kursów”? Mylenie heurystyki z metodyką. Przydałby się większa korekta merytoryczna.

Co mnie cieszy to fakt, że książka przeszła przez szybki proces od wydania, do dostarczenia polskiego tłumaczenia (mniej niż 2 lata). [Może z tego powodu mamy kłopot z redakcyjną jakością?] Jeśli zadajecie sobie pytanie czy jest aktualna i czy warto ją przeczytać, to odpowiedź brzmi TAK – książka jest wartościowa i ciągle dość aktualna. Skąd to wiem? Bo zawiera prompty i odpowiedzi na nie. Zdecydowałem się na mały eksperyment i sprawdziłem, jak dziś model odpowiada na ten sam prompt i nie zauważyłem dużej różnicy. Wcale nie jest dużo lepiej, a zazwyczaj jest dokładnie tak samo, jak było kilka lat wstecz.

Książce mogę zarzucić przede wszystkim to, że zdążyła się już zdezaktualizować. Widać to szczególnie na przykładzie Copilota, który dziś przez wielu testerów nie jest postrzegany jako narzędzie pierwszego wyboru. 

[Od Redakcji: Mamy tu do czynienia z ciekawym paradoksem. Z jednej strony warstwa merytoryczna dotycząca inżynierii promptów pozostaje zaskakująco aktualna, bo testy Radka pokazały, że modele odpowiadają na te same zapytania niemal identycznie jak przed laty. Z drugiej strony, w świecie narzędzi AI, które rozwijają się w zastraszającym tempie, dwa lata to prawie cała epoka. Widać to po rozdziałach o Copilocie, który stracił nieco na znaczeniu na rzecz nowszych rozwiązań.] 

Dodatkowo Mark robi dużo wykresów z nachodzącymi na siebie kółkami. Może i intencje miał dobre, ale ani to zrozumiałe, ani przekonujące. I choć często odwołują się wartościowych źródeł, jak np. to od Jamesa Lyndsaya:

to jego transformacja w książce ani nie urzeka, ani nie wnosi wartości. Za to kółka z kółkiem w środku, w którym centralnym punktem jest „człowiek” to jest dla mnie wyższy poziom niepojętości. 

Bardzo ucieszyło mnie praktyczne podejście Winteringhama – w książce znajdziecie dzięki temu wiele konkretnych przykładów. Co więcej – często krytycznie podchodzi do odpowiedzi zwracanych przez modele, więc możecie obserwować nie tylko przykładowe odpowiedzi, ale również poznać ich błędy. A potem jeszcze dowiedzieć się jak je poprawić.  

Czasami też zaskoczy was swoją kreatywnością. Nie jest to bardzo trudne, bo każdy tester ma swój zestaw tip&tricks na modele, ale nie zawsze mamy okazję zobaczyć je lub posłuchać o nich prawie na żywo. 

Zanim przejdziemy dalej to musimy rozdzielić dwa tematy:

1. Testowanie sztucznej inteligencji
2. Testowanie z użyciem sztucznej inteligencji

Jak wiecie to nie jest to samo, a książka odnosi się do tematu numer 2. Piszę o tym, ponieważ odnoszę wrażenie, że autorka przedmowy do książki myli te dwa pojęcia. Dobrze natomiast charakteryzuje ten temat sam autor pisząc o niej: „Książka ta jest zatem przeznaczona dla wszystkich, którzy chcą wykorzystać sztuczną inteligencję do doskonalenia rzemiosła testowania”.

Idąc rozdział po rozdziale widzimy przemyślaną i konsekwentną strukturę. Jeśli pytacie czy na około 300 stronach da się zawrzeć esencję testowania z AI, to odpowiedź znajdziecie w recenzji tej lub innych, które krążą po sieci. Moim zdaniem da się dzięki kilku dość niestandardowym zabiegom opisanym poniżej. 

Część 1. NASTAWIENIE - BUDOWANIE POZYTYWNEJ RELACJI Z MODELAMI JĘZYKOWYMI 

Ulepszanie testowania z użyciem dużych modeli językowych

Nie spodziewaliście się tego prawda? A to jest bardzo dobry początek dla wszystkich, którzy uważają się za sceptyków albo niedowiarków. Testowanie jest łatwiejsze dzięki GenAI. 

Duże modele językowe i inżynieria promptów

Zawiera skrótowe, ale wystarczające wprowadzenie do prompt engineering. Jest rozwijane w każdym kolejnym rozdziale. 

Sztuczna inteligencja, automatyzacja i testowanie

Miałem za duże oczekiwanie co do tego rozdziału. Dowozi teorię i mówi o zagrożeniach, ale... skończył się, zanim zaczął opisywać wartościową automatyzację. Co prawda znalazłem w nim potwierdzenie własnych przekonań, ale to nie o to tu chodziło. 

Część II. Technika — identyfikowanie zadań i inżynieria promptów w testowaniu.

Testowanie wspomagane przez AI dla programistów

Tego się nie spodziewałem. Wszyscy wiemy, że AI pomaga programistom, ale dobrze było zobaczyć w praktyce, jak wspiera ono TDD oraz proces refaktoryzacji. Szczególnie, że nie opiera się jedynie na zakresie funkcjonalnym, ale również niefunkcjonalnym, który w testach jednostkowych nie jest już tak oczywisty. Jestem szczególnym fanem podrozdziału: „4.5.2. Generowanie uwag do wydania”. Od dawna promuję komunikowanie testerom informacji o zmianach w rozumieniu noty wydania (release notes). Tu autor pokazuje, jak można to zrobić przy pomocy Chata. 

Planowanie testów ze wsparciem AI

Choć wydaje mi się, że tu nie powinno być zaskoczenia, to często na szkoleniach widzę, że ludzie nie używają AI. Cieszę się wtedy, że mogę im podpowiedzieć jak modelować system pod wymagania i jak planować testy. Podobnie będą miały osoby, które nigdy wcześniej nie widziały genAI w zarządzaniu testami w akcji i spróbują użyć tej wiedzy. Dobra część! 

Szybkie tworzenie danych z użyciem AI

Ten rozdział opisałbym jako pokazanie pewnej funkcjonalności modeli. Jednocześnie przyznaję, że nie jestem fanem wklejania całych XML-i i SQL-i do książek, nawet jeśli to jest jakiś przykład. Dla mnie to marnowanie papieru.

A instruktaż jak założyć konto w OpenAI to już duża przesada. 

Przyspieszanie i ulepszanie automatyzacji UI z użyciem sztucznej inteligencji

Ta część dowozi. Mistrz automatyzacji z użyciem AI raczej nie będzie zaskoczony, ale każdy początkujący tester rozpoczynający swoją przygodę z automatyzacją UI znajdzie tu swój punkt startowy. Tylko znów, po co tam tyle kodu, który nie ma większego znaczenia?

Sztuczna inteligencja w testach eksploracyjnych

Jako duży miłośnik eksploracji w tym temacie miałem nadzieję, że Mark najzwyczajniej tego nie spieprzy. Do osób na poziomie mid może to być ciekawy i przydatny rozdział. Dla wszystkich od mid w górę będzie to raczej rozczarowanie lub potwierdzenie, że w eksploracji robionej przez seniorów genAI wciąż niewiele oferuje. Osobiście należę do tej drugiej grupy. 

Agenty AI jako asystenty testowania

Choć 2024 to jeszcze za wcześnie na dobry opis agentów, to koncepcja została wprowadzona poprawnie. Książka nie pokazuje realnej pracy z nimi, ale dobrze przygotowuje na przyszłe (teraźniejsze) ich możliwości. 

Część III. Kontekst - dostosowywanie LLM-ów do różnych kontekstów

Dostosowywanie LLM-ów

Solidna dawka wiedzy o tym jak pracować z LLM-i po ich wdrożeniu w organizacji i przy próbie ich trenowania na własnym kontekście. 

Kontekstualizowanie promptów z użyciem generowania wspomaganego wyszukiwaniem

RAG od podstaw wraz z testowaniem. Kolejny solidny, choć dość teoretyczny opis tego zagadnienia. 

Dostrajanie LLM-ów z wykorzystaniem wiedzy dziedzinowej

Temat niezmiernie łatwy w opisie, ale niezmiernie trudny w realizacji. Wymagający nie tylko nakładów finansowych, ale i czasowych. Doceniam, że każdy element w książce, który opisuje wysiłek wytworzenia, nakazuje również wysiłek testowania. Podejście perfekcyjnie testerskie!

I na koniec mamy 3 aneksy

• Konfigurowanie i używanie ChatGPT 
• Konfigurowanie i używanie GitHub Copilota
• Notatki z testów eksploracyjnych

Można je wspólnie opisać jednym słowem – zbędne. 

Podsumowując mamy tu naprawdę sporo dobrej wiedzy, którą lokowałbym na poziomie junior, junior+, mid- i mid. Jeśli nie miałeś wcześniej doświadczenia z genAI, będzie to dobry punkt startowy. Jeśli miałeś, to niewiele cię zaskoczy, ale wiele może Cię zainspirować. 

Osobiście w tej książce znalazłem potwierdzenie, że AI to super narzędzie, które dziś nie ma potencjału na zastąpienie testera, ale za to może znacząco podnieść jego efektywność. 

Uwaga! Przy pisaniu tej recenzji nie skorzystałem w żadnym wymiarze z AI. W jej stworzeniu pomogły klasyczny przegląd recenzji i opisów z sieci, własne rozwiązywanie zadań oraz eksperymentowanie z wiedzą oraz oldschoolowe czytanie książek z wyrabianiem własnej opinii. 

KONKURS

Radek Smilgin w swojej najnowszej recenzji książki Marka Winteringhama „Testowanie oprogramowania z wykorzystaniem generatywnej AI” zauważa, że choć modele AI mają swoje wady, są potężnym narzędziem w rękach świadomego testera.  A my chcemy sprawdzić, jak Wy radzicie sobie z zaklinaniem sztucznej inteligencji!

Zadanie konkursowe

Napisz jak najkrótszy, ale w pełni skuteczny prompt, który wygeneruje kompletny i poprawny merytorycznie przypadek testowy dla funkcji „Zapomniałem hasła”.

Wygrywa propozycja, która najlepiej połączy minimalizm formy (liczbę znaków) z wysoką jakością i konkretnością otrzymanego wyniku. Pamiętajcie o uwagach z recenzji – unikajcie lania wody i stawiajcie na praktykę!

Nagrody

Spośród wszystkich zgłoszeń wyłonimy dwa najlepsze. A jakie są nagrody? Mamy dla Was przygotowane dwa pakiety, a w każdym:

• książka w wersji papierowej „Testowanie oprogramowania z wykorzystaniem generatywnej AI”
• voucher o wartości 400 zł na dowolne szkolenie z obszaru AI w testerzy.pl (ważny 12 miesięcy).

Na Wasze prompty czekamy pod adresem mailowym kontakt@testerzy.pl do 24.04.2026, do godziny 23:59. Wysyłając swoją odpowiedź, w tytule maila wpiszcie „Konkurs - Zapomniałem hasła”.

Regulamin konkursu znajdziecie poniżej. Powodzenia!

WYNIKI

Dziękujemy wszystkim za udział w konkursie i nadesłane propozycje! Wybór nie był łatwy, bo pokazaliście pełne spektrum podejść, w którym znaleźliśmy zarówno rozbudowane instrukcje, jak i podejścia bardzo minimalistyczne. Zgodnie z zasadami szukaliśmy złotego środka, czyli promptu, który przy najmniejszej liczbie znaków wygeneruje najbardziej merytoryczny wynik, gotowy do pracy w prawdziwym projekcie.

Oto zwycięzcy, którzy najlepiej połączyli zwięzłość z konkretnością:

🥇 I miejsce: Zgłoszenie Dawida - książka + voucher

Prompt: TC for "Forgot Password": id, preconditions, steps, test data, expected result. No fluff.   

Krótko, celnie i na temat. Dawid pokazał, że znając odpowiednie słowa klucze, można zdziałać cuda. Fraza "No fluff" zadziałała tu jak filtr, bo skutecznie odsiała typową dla AI watę słowną, pozostawiając jedynie konkretny, poprawny technicznie scenariusz.

🥈 II miejsce: zgłoszenie Joanny Z. - książka + voucher

Prompt: Produkcyjny test case „Zapomniałem hasła”: tytuł, kroki, dane, wynik, scen. pozytywne i negatywne.   

Zgłoszenie jest krótkie, ale praktyczne. Joanna sprytnie wykorzystała słowo "produkcyjny", by narzucić AI odpowiedni rygor merytoryczny już na starcie. Duży plus za merytoryczną gęstość: mimo minimalistycznej formy, autorce udało się wyegzekwować pełne pokrycie testowe (happy path i scenariusze negatywne).

⭐ Wyróżnienie: zgłoszenie Anny N. - voucher

Prompt:

Jako senior QA engineer napisz 1 przypadek testowy happy path dla funkcji "Zapomniałem hasła" w aplikacji webowej (SaaS B2B, desktop, Chrome 124, formularz email+hasło bez SSO, strona dostępna pod /reset-password). 

Środowisko: staging. Skrzynka testowa: Mailinator (testuser2026@mailinator.com). Link resetujący ważny przez 30 minut. 

Użyj tabeli z kolumnami: ID | Cel | Priorytet | Warunki wstępne | Dane testowe | Kroki | Oczekiwane rezultaty | Kryteria zaliczenia (PASS/FAIL dla kroku krytycznego) 

Wymagania: - dane testowe: realne wartości (nie placeholdery) - kroki numerowane - oczekiwany rezultat przypisany do każdego kroku - kryteria zaliczenia: jeden warunek binarny dla całego TC - bez ogólników typu "system wyświetla komunikat

Choć długość tego promptu stoi w opozycji do minimalizmu, nie mogliśmy przejść obok niego obojętnie. Anna narzuciła modelowi realne dane testowe (Mailinator), konkretne środowisko i rygorystyczną strukturę tabeli. To rozwiązanie dla tych, którzy przedkładają chirurgiczną precyzję nad liczbę znaków, otrzymując wynik gotowy do wdrożenia bez żadnej edycji.

Gratulujemy zwycięzcom! Pokazaliście, że skuteczna komunikacja z AI to sztuka dobierania słów kluczy, które zamieniają ogólne odpowiedzi w konkretne narzędzia pracy.

Ze zwycięzcami skontaktujemy się mailowo.

Regulamin konkursu: 

1. Konkurs potrwa od 17.04.2026 do 24.04.2026, godz. 23:59.
2. Prace konkursowe (treść promptu) należy przesyłać w treści wiadomości na adres mailowy kontakt@testerzy.pl, w tytule maila wpisując „Konkurs - Zapomniałem hasła”.
3. O wyniku konkursu poinformujemy na stronie testerzy.pl. Zwycięzcy zostaną wyłonieni na podstawie kreatywności i efektywności nadesłanego promptu.
4. Każdy uczestnik może przesłać tylko jedno zgłoszenie w konkursie.
5. Ze zwycięzcami skontaktujemy się mailowo najpóźniej do trzech dni roboczych od daty publikacji wyniku.
6. Do wygrania są 2 pakiety, a każdy z nich zawiera:
   1. Egzemplarz książki „Testowanie oprogramowania z wykorzystaniem generatywnej AI” autorstwa Marka Winteringhama.
   2. Voucher na szkolenie AI w testerzy.pl o wartości 400 zł, ważny przez 12 miesięcy.
7. W celu otrzymania nagrody zwycięzca powinien podać w korespondencji mailowej swoje dane osobowe (imię, nazwisko, adres do wysyłki książki, nr telefonu kontaktowego).
8. Uczestnicy konkursu wyrażają zgodę na publikację na stronie testerzy.pl informacji o wygranej i/lub treści nadesłanej odpowiedzi (zwycięskiego promptu).
9. Organizator zastrzega sobie prawo do publikacji wybranych prac oraz do nieprzyznania nagrody w przypadku prac, które nie spełniają wytycznych, zawierają wulgaryzmy lub zostały przesłane więcej niż jeden raz.
10. Konkurs prowadzony jest tylko dla osób pełnoletnich.
11. Nie ma możliwości wymiany nagrody na ekwiwalent pieniężny.
12. Uczestnicy konkursu, poprzez swoją aktywność, akceptują postanowienia powyższych zasad.