Redakcja
Przypominamy, że nasz test bazował na 10 pytaniach ISTQB® i AI (w wersji ChatGPT) poprawnie odpowiedział na 70% pytań, co pozwalało mu zdać egzamin.
Na początek zapytaliśmy ChatGPT, czy poradzi sobie z egzaminem MITC. Oto jego odpowiedź.
Widać, że obecne AI nie ma zdolności do wykonywania testów zarezerwowanych dla testerów manualnych. Ma za to zdolność do generowania odpowiedzi na pytania albo kodu testów automatycznych. Kolejnym krokiem było przetestowanie chata na egzaminie próbnym MITC. Ponieważ MITC nie wejdzie w interakcję z samym egzaminem, musieliśmy dostarczyć mu pełną informację z egzaminu.
- Zadanie z projektowaniem danych testowych – przerobiliśmy na pytanie.
Żaden z podanych ciągów nie ma 30 znaków. 0 punktów. - Zadanie z przeglądem raportu uruchomienia testów – przerobione na pytanie.
Walidacja zadziałała, więc rezultat był niepoprawny. 0 punktów.
Końcowy rezultat z egzaminu:
0% i niezaliczone. ChatGPT nie poradził sobie z tym zadaniem.
A jak poradzi sobie z właściwym egzaminem? Ponieważ bazujemy na prawdziwym egzaminie, nie możemy ujawnić zawartości poszczególnych pytań. Spróbujemy jednak opisać trudność przed jaką stawiamy sztuczną inteligencję.
- Pytania o teorię.
W zestawie MITC znajdziemy od zera do jednego pytania o teorię. Wykorzystaliśmy sztuczną inteligencję do udzielenia odpowiedzi. Tylko raz i tylko częściowo udało się jej wskazać poprawną odpowiedź.
AI miało skuteczność na poziomie 33% w jednym pytaniu, co w całym egzaminie dałoby jej jakieś 1% poprawnych odpowiedzi - Zadania z uruchomieniem przypadków testowych.
Obecna, generatywna sztuczna inteligencja nie ma zdolności do uruchomienia testów i określenia czy test zakończył się powodzeniem, czy też nie.
AI poległo. 0% skuteczności. - Zadania z projektowania danych testowych.
Podczas egzaminów MITC, aby określić daną testową należy wejść w interakcję z oprogramowaniem. ChatGPT tego nie potrafi, dlatego postanowiliśmy mu pomóc naszą inteligencją i opisaliśmy, jakie są wytyczne na pole i jakiej wartości testowej poszukujemy. AI poradziła sobie w 1 przypadku na 3, co daje 1 punkt do końcowego wyniku. - Wyszukiwanie i raportowanie defektów.
AI nie potrafi szukać defektów w oprogramowaniu, więc nie jest również w stanie ich zaraportować. Z naszą pomocą, opisując jaki jest defekt i prosząc o stworzenie raportu defektu ChatGPT zauważyliśmy, że aby dopasować jego odpowiedź do wymaganego raportu zgłoszenia defektu, musielibyśmy podać mu praktycznie wszystkie dane.
Uznajemy, że AI nie poradzi sobie z tym zadaniem. - Zadania z metrykami.
Część pytań dotyczy oceny kryteriów zakończenia testów i wymaga pewnej znajomości podstaw testowania oraz prostej matematyki. Tutaj ChatGPT poradził sobie bezbłędnie, zdobywając jeden punkt.
Całościowa ocena ChatGPT to 2 punkty na 26 możliwych, co procentowo daje około 8%. Ponieważ próg zdawalności wynosi 80% uznajemy, że ChatGPT nie jest w stanie zdać egzaminu MITC.
Widzimy więc, że MITC nie jest w stanie udzielić odpowiedzi na żadne pytanie z MITC, jeśli nie dostanie wsparcia człowieka, który skompiluje dla niego informacje z zadania oraz z aplikacji. Nawet, jeśli taką pomoc dostanie, to nie jest w stanie uzyskać wyniku wystarczającego do zdania egzaminu. Co więcej, prawdopodobnie wybierając losowo odpowiedzi w egzaminie MITC (niektóre z nich są zero jedynkowe) miałby lepszy rezultat, niż próbując udzielić poprawnej odpowiedzi. Z tego prostego eksperymentu możemy wyciągnąć więc wniosek, że MITC lepiej sprawdza wiedzę, pracę i myślenie testerów niż egzamin ISTQB®.
Na koniec zapytajmy ChatGPT, który certyfikat w lepszy sposób weryfikujący wiedzę i umiejętności testerów?
