Redakcja
Czy LLMy (i ogólnie GenAI) są wystarczającym narzędziem do planowania i projektowania testów eksploracyjnych? Gdzie są ograniczenia? Czy są znany wyniki systematycznych badań?
Na razie nie możemy w pełni powierzyć AI planowania i projektowania testów eksploracyjnych. Sztuczna inteligencja nie myśli logicznie, działa głównie na zasadzie łączenia i odtwarzania informacji, które już zna z dostępnych źródeł. To sprawia, że radzi sobie z typowymi scenariuszami, ale gdy trafimy na coś naprawdę nowatorskiego czy nietypowego, AI nie podsunie wartościowych, świeżych pomysłów na testy. Badania naukowe potwierdzają te ograniczenia (zob. The Illusion of Thinking, arxiv.org).
Które narzędzie jest najlepsze?
Nie istnieje jedno "najlepsze" narzędzie. To, które sprawdzi się najlepiej, zawsze zależy od konkretnego kontekstu i potrzeb. Warto jednak wspomnieć, że Google opracował nowe rozwiązanie o nazwie STAX, które pomaga w wyborze najlepszego modelu do danego zadania.
Czy vibe testing odnosi się tylko do testowania rozwiązań AI?
Nie, vibe testing nie dotyczy wyłącznie rozwiązań AI. W praktyce dziś niemal każde nowe rozwiązanie ma w sobie choćby niewielki procent elementów wygenerowanych przez sztuczną inteligencję. Dlatego można uznać, że AI w jakimś stopniu zawsze jest obecne.
Jak bezpiecznie korzystać z AI, zwłaszcza z trybu Agenta i protokołu MCP do testów eksploracyjnych aplikacji.
Bezpieczeństwo w testach eksploracyjnych z AI zależy od tego, kto ma kontrolę. Jeśli nie kontrolujemy Agenta ani modelu AI, nie możemy być pewni, co stanie się z naszymi danymi. Natomiast gdy korzystamy z rozwiązania, które mamy pod kontrolą, poziom bezpieczeństwa jest taki sam, jak w przypadku innych znanych nam narzędzi.
W jaki sposób unikać chaosu przy testowaniu eksploracyjnym? Czy jest jakiś uniwersalny framework w ramach testowania eksploracyjnego?
Żeby uniknąć chaosu w testach eksploracyjnych, warto korzystać z SBTM (Session-Based Test Management). To podejście opiera się na krótkich, zaplanowanych sesjach z jasno określonym celem, robieniu notatek w trakcie oraz podsumowaniu po zakończeniu. Dzięki temu testy są uporządkowane, mierzalne i łatwe do raportowania. Więcej: https://www.satisfice.com/download/session-based-test-management
Jakie ryzyka niesie vibe testing dla produktów, procesów, testerów, zespołów?
Sam vibe testing nie niesie ze sobą ryzyka, to po prostu technika testowania. Ryzyko pojawia się dopiero wtedy, gdy korzystamy z niego bez odpowiedniej uwagi, zwłaszcza w kontekście danych. Niewłaściwe użycie AI może prowadzić do problemów z bezpieczeństwem informacji.
W jaki sposób można zautomatyzować vibe testing i czy w ogóle się to da zrobić?
Tak, da się coś zautomatyzować, ale wtedy to po prostu automatyzacja z użyciem AI. Innymi słowy: automatyzując vibe testing, zamieniasz go w proces, w którym AI wykonuje część pracy, to już nie "czysta" eksploracja, tylko automatyzacja wspierana przez modele.
Czy AI może wygenerować błędne testy?
Tak, AI może przygotować testy, które będą błędne, a dokładniej mówiąc: nieadekwatne do celu. Oznacza to, że nawet jeśli wyglądają poprawnie, mogą nie sprawdzać tego, co faktycznie powinny.
Jakie błędy poznawcze możemy napotkać podczas testowania eksploracyjnego w kontekście AI? (Wiemy, że AI potrafi czasami zapędzić nas w kąt)
Podczas pracy z AI możemy natrafić na błędy poznawcze, czyli sytuacje, w których zarówno my, jak i model odchodzimy od czystej logiki i zdrowego osądu. Warto znać opracowanie Jamesa Bacha i Michaela Boltona: "Syndromy AI", gdzie opisali 18 typowych wzorców zachowań dużych modeli językowych (LLM). To świetne źródło, które pomaga zrozumieć, w jaki sposób AI może nas wprowadzać w błąd i jak się przed tym bronić. Więcej pisaliśmy o tym tutaj.
W jakich kwestiach AI najczęściej się myli?
AI może się pomylić praktycznie w każdej dziedzinie, jeśli zejdziemy na odpowiednio szczegółowy poziom. Im mniej danych ma model na dany temat (albo w ogóle nie był na nich trenowany), tym większe ryzyko błędów - od tzw. halucynacji po zwykłe przyznanie się, że "nie wie".
Który model AI najlepiej sprawdza się do vibe testingu?
Nie ma jednego modelu, który sprawdza się najlepiej w vibe testingu, wszystko zależy od kontekstu. Osobiście uważam, że Gemini wypada dobrze, ale szczerze mówiąc: żaden model ani mnie nie rozczarował, ani też szczególnie nie zachwycił.
Zauważyłem, że AI, na przykład w testowaniu eksploracyjnym, radzi sobie najlepiej, gdy dostanie ściśle zdefiniowane ścieżki i obszary, na których ma się skupić. Czy istnieją już metody lub narzędzia AI, które potrafią wejść w tryb prawdziwie nieukierunkowanej eksploracji - czyli swobodnie nawigować po aplikacji i na bieżąco identyfikować nietypowe, nieplanowane ścieżki i interakcje? Jakie narzędzia do testowania z AI uważacie za obecnie najlepsze i dlaczego?
Na razie nie istnieje narzędzie, które potrafiłoby prowadzić prawdziwie swobodną eksplorację aplikacji tak jak człowiek. Najbliżej tego są agenci AI, ale to wciąż bardziej forma automatyzacji niż samodzielnego odkrywania nowych ścieżek. Jeśli chodzi o modele językowe, to moim faworytem jest Gemini, choć trudno wskazać jedno "najlepsze" rozwiązanie, wszystko zależy od kontekstu i potrzeb.
Vibe testing a raportowanie czasu pracy w JIRA - przykładowy rozkład czasu pracy.
Vibe testing to po prostu rodzaj testowania, więc w JIRA raportuje się go tak samo jak inne działania testerskie i jako prowadzenie testów.
Czy AI zredukuje użyteczność testerów w firmie? Do czego AI przyda się testerom manualnym?
AI już dziś wpłynęło na rynek IT, zmniejszając liczbę etatów i można się spodziewać, że ten trend będzie postępował również w inżynierii oprogramowania. Z drugiej strony pojawią się nowe role związane z AI. Dla testerów manualnych AI może być dużym wsparciem. Pomaga w debugowaniu, analizie kodu i wymagań, planowaniu i projektowaniu testów, analizie defektów oraz tworzeniu raportów. To narzędzie, które nie zastępuje testera, ale może znacznie usprawnić jego pracę.
Czy warto używać agentów AI do testów manualnych/eksploracyjnych?
Tak, warto korzystać z agentów AI, ale tylko jako wsparcia. Same w sobie nie potrafią prowadzić w pełni manualnych ani eksploracyjnych testów, mogą jedynie pomagać testerowi, a nie go zastępować.
Znajomość jakich narzędzi i jakie umiejętności warto rozwijać w kontekście vibe testingu?
W kontekście vibe testingu warto rozwijać się w dwóch obszarach:
Narzędzia:
- duże modele językowe (LLM-y),
- agenty, np. połączenie Playwright + Gemini.
Umiejętności:
- prompt engineering - czyli umiejętne formułowanie poleceń dla AI,
- krytyczne i kreatywne myślenie,
- solidne podstawy testowania eksploracyjnego.
To połączenie narzędzi i kompetencji pozwala w pełni wykorzystać potencjał AI jako wsparcia w testach.
Czy widzisz zastosowanie agentów AI w testowaniu?
Tak, agenty AI mają zastosowanie w testowaniu i widać w nich duży potencjał na przyszłość. Na razie są wsparciem, ale z czasem mogą odegrać coraz większą rolę w pracy testerów.
W jakim kierunku ewoluuje zawód testera w związku z postępem AI?
Zawód testera zmienia się wraz z rozwojem AI. Sztuczna inteligencja to narzędzie, którego trzeba się nauczyć używać. Jest też ogromną bazą wiedzy, z której tester powinien korzystać, ale zawsze z zachowaniem krytycznego podejścia.
Ile w vibe testingu jest hype’u, a ile nowości która zostanie z nami na długo?
Vibe testing nie jest tak naprawdę nowością. To raczej połączenie znanych już metod testowania jakości z wykorzystaniem gotowych narzędzi AI, tyle że pod nową nazwą. Hype wokół tematu jest duży, ale same podstawy są dobrze znane testerom od lat.
Jak wprowadzić w życie vibe testing do skostniałej organizacji?
Najłatwiej wprowadzać vibe testing oddolnie, zaczynając indywidualnie i pokazując przykłady w praktyce. To często działa lepiej niż odgórne narzucanie zmian. Trudniejszym wyzwaniem jest jednak bezpieczne wdrożenie AI w całej organizacji, bo to wymaga odpowiednich zasad i kontroli nad danymi.
Czy znasz narzędzia AI, które świetnie wspierają pracę testera?
Na razie nie ma narzędzia, które w pełni i naprawdę dobrze wykorzystywałoby AI do wspierania testowania. Dostępne rozwiązania mogą pomagać w wybranych zadaniach, ale żadne z nich nie wspiera pracy testera "świetnie" w całości.
Jak przetestować czy nasz test dobrze testuje AI? Skąd pewność, że AI działa poprawnie?
Nie ma jednego "magicznego" sposobu na sprawdzenie, czy test rzeczywiście dobrze testuje AI. Kluczowe są trzy rzeczy:
- Doświadczenie - praktyka i intuicja testera pomagają wychwycić słabe punkty.
- Perspektywa użytkownika - sprawdzaj, czy wynik ma sens z punktu widzenia realnego użycia.
- Wiarygodne wzorce - porównuj wyniki z rzetelnym źródłem oczekiwanego rezultatu (np. zaufanym zestawem danych, ekspertem domenowym albo alternatywnym modelem/narzędziem).
Czy vibe testing to proces który powinni wykonywać testerzy czy może badacze? Czy w proces angażuje się użytkowników?
Vibe testing mogą prowadzić zarówno testerzy, jak i badacze. Co więcej, w niektórych sytuacjach także użytkownicy mogą korzystać z tej metody. Wszystko zależy od kontekstu i celu testów.
Jak zapewnić bezpieczeństwo poufnych danych podczas testowania z użyciem AI?
Aby chronić poufne dane podczas testowania z AI, najlepiej korzystać z własnego, lokalnego modelu albo z rozwiązań działających w europejskich centrach danych/serwerach/chmurach, które podlegają lokalnym regulacjom i zapewniają wyższy poziom bezpieczeństwa.
Jeśli vibe testing tworzy kod testów automatycznych - to czy można ślepo zaufać temu kodowi, czy za pół roku będą stanowiska stanowiska Vibe Testing Cleaner Specialist?
Nie można ślepo ufać żadnemu kodowi wygenerowanemu przez AI. Taki kod zawsze wymaga sprawdzenia i weryfikacji przez testera czy programistę, inaczej ryzykujemy, że będzie błędny, nieadekwatny albo podatny na problemy w przyszłości.
Jak testować live transkrypcje?
Aby przetestować live transkrypcję z pomocą AI, najlepiej porównać ją z wynikami innych narzędzi. W praktyce wygląda to tak: używamy co najmniej dwóch różnych systemów transkrypcji, zestawiamy ich wyniki i sprawdzamy wszystkie miejsca, w których się różnią. To pozwala wychwycić błędy i ocenić jakość działania.
Czy Vibe Testing zagra z Javą w Selenium?
Tak, Vibe Testing można połączyć z Javą i Selenium. Warto przy tym pamiętać, że agenci nie są obowiązkowi – to tylko opcjonalne wsparcie. Jeśli jednak ktoś chce, może zbudować własnego agenta w oparciu o Selenium i Javę. Dobrym przykładem jest wtyczka "MCP for Selenium", stworzona przez dobrze znaną w świecie testów Angie Jones: GitHub – mcp-selenium.
Procedury są bez żadnych dokumentacji?
Tak, w vibe testingu nie tworzy się formalnej dokumentacji. Jedynym wymaganym elementem jest raport końcowy zawierający zgłoszone defekty i obserwacje.
Prompt musi przecież wiedzieć co ma testować?
Tak, AI potrzebuje punktu wyjścia, tzn. promptu opisującego aplikację albo zrzutu ekranu. Na tej podstawie generuje procedury testowe. Nie ma obowiązku ich pełnej dokumentacji, ale warto zanotować, które zostały wykorzystane, żeby później móc jasno pokazać, jaki był zakres testów.
To będą bardzo ogólne scenariusze?
Tak, scenariusze tworzone przez AI mogą być bardzo ogólne, wtedy to tester musi je doprecyzować i uzupełnić o dane testowe. Mogą też być bardziej szczegółowe, ale w takim przypadku zawsze wymagają recenzji testera, by upewnić się, że faktycznie pasują do naszej aplikacji.
Rozumiem, że trzeba zbudować agenta do tego tak?
Nie, nie trzeba budować agenta, żeby korzystać z vibe testingu. Agent może być pomocny i przyspieszać testy, ale jego stworzenie i uruchomienie wymaga sporo pracy. Alternatywą jest podejście ręczne, wtedy to tester pełni rolę "interfejsu" między modelem AI a testowaną aplikacją.
