Human-in-the-loop w AI

To nie dlatego, że AI jest bezużyteczna. Przeciwnie: jest bardzo użyteczna. Problem polega na tym, że nie jest wystarczająco godna zaufania jako samodzielna wyrocznia. AI potrafi wygenerować poprawnie brzmiącą odpowiedź, która jest fałszywa. Potrafi stworzyć sensowny test, który nie testuje właściwego ryzyka. Potrafi napisać przekonujący raport, który maskuje błąd w danych wejściowych. Potrafi naprawić automatyczny test, zmieniając przy okazji jego sens. W kontekście jakości oprogramowania takie zjawisko rzutuje na całą bazową strukturę produktu.

Człowiek jest ważnym elementem procesu

Warto tu od razu doprecyzować: AI Act nie mówi, że każda treść wygenerowana przez AI zawsze musi być ręcznie sprawdzona przez człowieka. Regulacja jest bardziej precyzyjna. W przypadku systemów wysokiego ryzyka wymaga zaprojektowania ich tak, aby były nadzorowane przez człowieka. Ta kontrola ma minimalizować ryzyka dla zdrowia, bezpieczeństwa i prawa. AI Act opisuje też, co realnie znaczy nadzór człowieka. Osoba nadzorująca powinna rozumieć możliwości i ograniczenia systemu, monitorować jego działanie, wykrywać anomalie, być świadoma ryzyka nadmiernego polegania na wyniku systemu AI, poprawnie interpretować output, a w razie potrzeby zdecydować o jego nieużyciu, odrzuceniu, odwróceniu albo przerwaniu działania systemu.

Czy nie brzmi to jak opis nowego zadania w pracy testerskiej? Nie chodzi tylko o kliknięcie „approve”, ale o kompetencję oceny: czy wynik AI jest poprawny, bezpieczny, zgodny z celem, niewprowadzający w błąd, kompletny i możliwy do obrony przed klientem, audytorem, regulatorem albo użytkownikiem.

AI Act nakłada też obowiązek zapewnienia odpowiedniego poziomu kompetencji u osób pracujących z systemami AI – z uwzględnieniem ich wiedzy technicznej, doświadczenia, edukacji, szkolenia i kontekstu użycia systemu. To dodatkowo wzmacnia tezę, że człowiek w pętli nie może być przypadkowym zatwierdzaczem, tylko musi rozumieć, co kontroluje.

Ludzka kontrola jako forma budowania zaufania do AI

W przypadku treści publikowanych publicznie szczególnie ważny jest art. 50 AI Act. Dostawcy systemów generujących syntetyczny tekst, obraz, audio lub wideo mają zapewniać oznaczanie outputów jako sztucznie wygenerowanych lub zmanipulowanych, o ile jest to technicznie wykonalne. Dla tekstów generowanych lub manipulowanych przez AI, publikowanych w celu informowania opinii publicznej w sprawach interesu publicznego, AI Act przewiduje obowiązek ujawnienia, że treść została sztucznie wygenerowana lub zmanipulowana. Jednocześnie wskazuje wyjątek: obowiązek ten nie ma zastosowania m.in. wtedy, gdy treść przeszła proces ludzkiego przeglądu lub kontroli redakcyjnej, a osoba fizyczna lub prawna ponosi odpowiedzialność redakcyjną za publikację. 

To bardzo ważne! Regulacja nie wymaga, by oznaczyć treść jako „wygenerowane przez AI”, wzmacnia za to znaczenie ludzkiej odpowiedzialności redakcyjnej. W praktyce powstaje więc nowy workflow: AI generuje, człowiek sprawdza, organizacja bierze odpowiedzialność.

A skoro człowiek sprawdza, pojawia się pytanie testerskie – według jakich kryteriów?

Czy sprawdzamy fakty? Ton? Zgodność z prawem? Dostępność? Brak dyskryminacji? Źródła? Ryzyko halucynacji? Poufność danych? Zgodność z brandingiem? Wersję językową? Bezpieczeństwo rekomendacji? To przestaje być wyłącznie praca redaktora. To zaczyna być testowanie outputu systemu AI.

Z doświadczenia nie ufamy AI, bo nas zawiodła

Doświadczenie użytkowników jest brutalne – AI często daje wynik wystarczająco dobry, by wyglądał profesjonalnie, ale niewystarczająco dobry, by zaufać mu bez kontroli. NIST AI Risk Management Framework opisuje potrzebę zarządzania ryzykami AI wobec osób, organizacji i społeczeństwa. Profil NIST wskazuje z kolei ryzyka charakterystyczne dla GenAI, takie jak halucynacje, prywatność danych, szkodliwe treści, zatrucie danych czy problemy integralności informacji.

To potwierdza codzienną praktykę testerów – AI jest świetna w produkowaniu kandydatów na odpowiedź, ale słabsza w gwarantowaniu prawdy. Jest dobra w generowaniu wariantów, ale wymaga selekcji. Przyspiesza tworzenie materiału, ale zwiększa znaczenie weryfikacji. Innymi słowy, AI przesuwa koszt pracy z „tworzenia” na „sprawdzanie”.

I właśnie tu zaczyna się potencjalna szansa dla rynku testerskiego.

Czy AI pobudzi rynek testerów?

Tak, ale niekoniecznie tak, jak chcieliby początkujący kandydaci do IT. 

AI może ograniczać zapotrzebowanie na część prostych zadań testerskich: przepisywanie przypadków testowych, generowanie checklist, tworzenie prostych danych testowych, opisywanie defektów, przygotowywanie pierwszych wersji raportów. To wszystko będzie coraz łatwiej zautomatyzować.

Jednocześnie AI tworzy nowe potrzeby:

• testowanie generowanych outputów,
• weryfikację halucynacji,
• ocenę jakości promptów,
• walidację agentów AI,
• testowanie systemów RAG,
• testowanie zgodności z politykami bezpieczeństwa,
• ocenę biasów,
• kontrolę prywatności danych,
• testowanie niedeterministycznych wyników,
• audytowalność decyzji AI,
• monitorowanie driftu jakości,
• weryfikację self-healingu testów,
• budowanie benchmarków i zestawów ewaluacyjnych.

To są zadania testerskie, ale niekoniecznie juniorskie. Bardziej przypominają one połączenie QA, analityka, domain experta, redaktora technicznego, inżyniera jakości i audytora.

Juniorzy czy seniorzy – kto skorzysta bardziej?

Krótkoterminowo większą szansę mają seniorzy.

Powód jest prosty: human-in-the-loop nie polega na samym patrzeniu na wynik, tylko na rozumieniu tego, co może pójść źle. A to wymaga już doświadczenia: domenowego, technicznego, regulacyjnego i testerskiego.

Senior tester potrafi zadać pytania i sformułować odpowiedź:

• Czy AI odpowiedziała poprawnie, czy tylko przekonująco?
• Czy przypadek testowy ma rzeczywistą wartość regresyjną?
• Czy wygenerowany kod testowy nie ukrywa błędnej asercji?
• Czy self-healing nie zmienił semantyki testu?
• Czy wynik jest powtarzalny?
• Czy wynik można obronić przed audytorem?
• Czy model nie ujawnia danych poufnych?

 Junior częściej będzie mógł wykonywać prostsze zadania kontrolne: klasyfikację outputów, porównywanie odpowiedzi, oznaczanie defektów, przegląd checklist, ręczne sprawdzanie przykładów, walidację zgodności z prostymi regułami. To może być dobry punkt wejścia, ale ryzyko jest takie, że najprostsze zadania human-in-the-loop szybko zostaną zautomatyzowane albo zepchnięte do niskopłatnej pracy.

Z tego powodu juniorzy powinni omijać zadania polegające na ręcznej weryfikacji AI, a skupić się na szybkim objęciu roli QA odpowiedzialnego za jakość procesów AI.

Nowe role w AI dla QA i testerów

Rynek może zaproponować kilka nowych profili.

1. „Inżynier HIL AI”, czyli osoba oceniająca jakość odpowiedzi modeli według kryteriów: prawdziwość, kompletność, bezpieczeństwo, zgodność z tonem, brak naruszeń polityk, brak ujawnienia danych.
2. „AI QA engineer”, tester projektujący testy dla systemów używających modeli, agentów i integracji AI. Taka osoba musi rozumieć nie tylko testy funkcjonalne, ale też niedeterministyczność, benchmarki, zestawy referencyjne, prompt injection, testing halucynacji i monitoringu jakości.
3. „AI compliance tester”, specjalista łączący QA z regulacjami, dokumentacją, audytowalnością, AI Act i politykami organizacyjnymi.
4. „Prompt designer / tester”, czyli osoba projektująca prompty, scenariusze testowe, dane wejściowe i przypadki graniczne dla systemów GenAI.
5. „*Manager jakości maszyn”, to rola, którą Radek Smilgin zdefiniował już na łamach testerzy.pl. Dobrze wpisuje się to w koncept human-in-the-loop. Jeżeli AI zaczyna generować teksty, testy, kod, analizy i decyzje, to ktoś musi zarządzać nie tylko ludźmi, ale również wydajnością, starannością i jakością „maszyn”. 

Podsumowanie

Human-in-the-loop nie stanowi tymczasowego rozwiązania niedoskonałości AI. To prawdopodobnie trwały element pracy z systemami generatywnymi, agentowymi i wysokiego ryzyka. AI Act wzmacnia ten kierunek przez wymagania nadzoru człowieka, przejrzystości i odpowiedzialności redakcyjnej. Doświadczenie rynku potwierdza, że bez ludzkiego sprawdzenia treści generowane przez AI są zbyt ryzykowne, aby traktować je automatycznie za wiarygodne.

Czy to pobudzi rynek testerów? Tak, ale przede wszystkim rynek testerów myślących systemowo: seniorów, QA leadów, testerów domenowych, specjalistów od zgodności, automatyzacji, danych, bezpieczeństwa i AI. Juniorzy również mogą skorzystać, ale tylko jeśli szybko wyjdą poza prostą walidację wyników i nauczą się rozumieć ryzyko.

To może być jedna z najważniejszych ról jakościowych najbliższych lat.