Czy ChatGPT-4 zdałby egzamin ISTQB®?

Czy ChatGPT-4 zdałby egzamin ISTQB®?
Przetestowaliśmy OpenAI zadając mu przykładowe pytania egzaminacyjne z zestawu A dla ISTQB® Poziom Podstawowy. Jak sobie poradził?

Zainspirowani prezentowanymi na stronie twórców GPT wynikami z jego podejść do różnych egzaminów, zdecydowaliśmy się poddać AI innemu testowi.

czy-chatgpt-zdałby-egzamin-istqb-1.jpgNasz eksperyment ma pewne ograniczenia, ponieważ ogólnodostępna wersja ChatGPT nie ma możliwości zadawania pytań w oparciu o grafiki, które pojawiają się w teście. Zakładamy również, że ChatGPT nawet jeśli uczył się w oparciu o sylabus ISTQB®, to traktuje to jako jedno z wielu źródeł wiedzy. Jego niepoprawne odpowiedzi są więc niepoprawne jedynie w odniesieniu do tego konkretnego źródła. 

Zakładamy, że ChatGPT nie ma dostępu do odpowiedzi ISTQB® i swoje odpowiedzi opracowuje "samodzielnie".

Zadane pytania

Pytanie 1.

Która z poniższych odpowiedzi opisuje warunek testowy?

a) Wyróżniający atrybut modułu lub systemu.
b) Testowalny aspekt modułu lub systemu zidentyfikowany jako podstawa testowania.
c) Stopień, w jakim oprogramowanie zapewnia wykonywanie funkcji spełniających określone i domniemane potrzeby, gdy oprogramowanie jest używane w określonych warunkach.
d) Przypadki testowe zaprojektowane w celu wykonywania kombinacji warunków i wynikających z nich działań.

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

b) Testowalny aspekt modułu lub systemu zidentyfikowany jako podstawa testowania.
 
Warunek testowy to konkretne i testowalne aspekty komponentu lub systemu, które zostały zidentyfikowane jako podstawa do przeprowadzenia testów. Opisuje on cechę, funkcję, zachowanie lub atrybut, który musi zostać przetestowany, aby potwierdzić, że oprogramowanie spełnia wymagania i działa zgodnie z oczekiwaniami. Warunki testowe często są wyodrębniane z wymagań, specyfikacji, dokumentacji projektowej lub innych źródeł informacji i służą do projektowania i wykonania przypadków testowych.

POPRAWNIE!
Pytanie 8.

Powiąż poniższe produkty pracy związanymi z testowaniem (1–4), z odpowiednimi opisami (AD).

1. Zestaw testów.
2. Przypadek testowy.
3. Procedura testowa.
4. Karta opisu testu.

A. Grupa skryptów testowych lub harmonogram wykonania testów.
B. Zbiór instrukcji wykonujących test.
C. Wykaz oczekiwanych rezultatów.
D. Dokument opisujący cel testów i możliwe pomysły na ich wykonanie

a) 1A, 2C, 3B, 4D
b) 1D, 2B, 3A, 4C
c) 1A, 2C, 3D, 4B
d) 1D, 2C, 3B, 4A

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

c) 1A, 2C, 3D, 4B

Zestaw testów - Grupa skryptów testowych lub harmonogram wykonania testów (A).
Przypadek testowy - Wykaz oczekiwanych rezultatów (C).
Procedura testowa - Dokument opisujący cel testów i możliwe pomysły na ich wykonanie (D).
Karta opisu testu - Zbiór instrukcji wykonujących test (B).

NIEPOPRAWNIE. Poprawna odpowiedź to a)
Pytanie 12.

Która z poniższych odpowiedzi zawiera NAJLEPSZĄ definicję modelu przyrostowego?

a) Definiowanie wymagań, projektowanie oprogramowania i testowanie odbywają się w szeregu cykli wytwarzania oprogramowania, przy czym w każdym cyklu dodawany jest fragment systemu.
b) Każda faza procesu wytwarzania oprogramowania powinna rozpoczynać się po zakończeniu poprzedniej fazy.
c) Testowanie jest postrzegane jako odrębna faza procesu wytwarzania, wykonywana po zakończeniu fazy implementacji.
d) Testowanie jest dodawane do zakresu prac programistycznych jako element przyrostowy.

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

a.    Definiowanie wymagań, projektowanie oprogramowania i testowanie odbywają się w szeregu cykli wytwarzania oprogramowania, przy czym w każdym cyklu dodawany jest fragment systemu.

POPRAWNIE.
Pytanie 18.

Jesteś zaproszony do udziału w przeglądzie opisu wewnętrznego procesu tworzenia dokumentów. Celem tego opisu jest przedstawienie podziału pracy pomiędzy osobami pełniącymi różne role i zaangażowane w proces w sposób, który będzie zrozumiały dla wszystkich. Przegląd jest oparty na następującej liście kontrolnej:

i. Czy dla każdej czynności zdefiniowano w jasny sposób osobę ją wykonującą?
ii. Czy dla każdej czynności zdefiniowano w jasny sposób kryteria wejścia?
iii. Czy dla każdej czynności zdefiniowano w jasny sposób kryteria wyjścia?
iv. Czy dla każdej czynności zdefiniowano w jasny sposób role wspierające i ich zakres odpowiedzialności?

Przeglądowi opartemu na tej liście poddawany jest następujący fragment dokumentu:
"Po sprawdzeniu kompletności i poprawności dokumentacji klienta architekt oprogramowania tworzy specyfikację systemu. Gdy architekt oprogramowania ukończy specyfikację systemu, zaprasza testerów i weryfikatorów do przeglądu. Lista kontrolna opisuje zakres przeglądu. Każdy zaproszony recenzent tworzy - w razie potrzeby - komentarze do przeglądu i kończy przegląd oficjalnym komentarzem „gotowe”. Które z poniższych uwag z Twojej recenzji są poprawne?"

a) Punkt ii). listy kontrolnej został naruszony, ponieważ nie jest jasne, jaki warunek musi być spełniony, aby zaprosić kogoś do przeglądu.
b) Zauważasz, że poza testerem i osobą weryfikującą należy również zaprosić osobę walidującą. Ponieważ ten element nie jest częścią Twojej listy kontrolnej, nie zapisujesz odpowiedniej uwagi w swoim raporcie.
c) Punkt iii). listy kontrolnej został naruszony, ponieważ nie jest jasne, co powoduje, że przegląd ma być uznany za ukończony.
d) Punkt i). listy kontrolnej został naruszony, ponieważ nie jest jasne, kto ma dostarczyć listę kontrolną przeglądającym.

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

a) Punkt ii). listy kontrolnej został naruszony, ponieważ nie jest jasne, jaki warunek musi być spełniony, aby zaprosić kogoś do przeglądu.

W tekście nie zostało jasno określone, jakie warunki muszą być spełnione, aby zaprosić testerów i weryfikatorów do przeglądu. Brak jasnego określenia kryteriów wejścia jest naruszeniem punktu ii) listy kontrolnej.

NIEPOPRAWNIE. Poprawna odpowiedź to d)
Pytanie 22.

Która z poniższych odpowiedzi NAJLEPIEJ opisuje pokrycie instrukcji kodu?

a) Jest to miara pokazująca odsetek wykonanych przypadków testowych.
b) Jest to miara pokazująca odsetek instrukcji wykonywalnych, które zostały przetestowane przez zestaw testowy.
c) Jest to miara pokazująca liczbę instrukcji w kodzie źródłowym, które zostały wykonane przez zaliczone przypadki testowe.
d) Jest to miara pokazująca, czy wszystkie instrukcje zostały pokryte (zwracana jest wartość prawda/fałsz).

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

b) Jest to miara pokazująca odsetek instrukcji wykonywalnych, które zostały przetestowane przez zestaw testowy.

POPRAWNIE.
Pytanie 25.

Program musi obliczyć wysokość premii dla pracownika. Premia nie może mieć wartości ujemnej, może natomiast zostać zredukowana do zera. Jej wysokość zależy od stażu pracy. Wyróżniono następujące kategorie:

  • 2 lata lub mniej
  • więcej niż 2 lata, ale mniej niż 5 lat
  • nie mniej niż 5 lat ale nie więcej niż 10 lat
  • więcej niż 10 lat.

Ile przypadków testowych jest niezbędnych, jeśli do przetestowania procesu obliczania wysokości premii potrzebne są tylko te zaprojektowane w oparciu o podział na klasy równoważności dla przypadków poprawnych?

a) 3
b) 5
c) 2
d) 4

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

Biorąc pod uwagę podział na kategorie stażu pracy, mamy 4 klasy równoważności. Aby pokryć przypadki poprawne, musimy przetestować jeden przypadki dla każdej z tych klas, co daje łącznie 4 przypadki testowe.

Odpowiedź: d) 4

POPRAWNIE
Pytanie 29.

W przypadku aplikacji do odtwarzania wideo obowiązuje następujące wymaganie: aplikacja musi umożliwiać odtwarzanie wideo na ekranach o następującej rozdzielczości:

1. 640×480
2. 1280×720
3. 1600×1200
4. 1920×1080

Który z poniższych przypadków testowych jest rezultatem zastosowania technik podziału na klasy równoważności w odniesieniu do tego wymagania?

a) Zweryfikowanie, czy aplikacja umożliwia odtwarzanie filmu wideo na ekranie o rozdzielczości 1920×1080 (1 przypadek testowy).
b) Zweryfikowanie, czy aplikacja umożliwia odtwarzanie filmu wideo na ekranach o rozdzielczości 640×480 i 1920×1080 (2 przypadki testowe).
c) Zweryfikowanie, czy aplikacja umożliwia odtwarzanie filmu wideo we wszystkich rozdzielczościach wymienionych w wymaganiu (4 przypadki testowe).
d) Zweryfikowanie, czy aplikacja umożliwia odtwarzanie filmu wideo w dowolnej z rozdzielczości wymienionych w wymaganiu (1 przypadek testowy).

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

Odpowiedź: c) Zweryfikowanie, czy aplikacja umożliwia odtwarzanie filmu wideo we wszystkich rozdzielczościach wymienionych w wymaganiu (4 przypadki testowe).

POPRAWNIE
Pytanie 35.

W ramach projektu opracowano „inteligentny” termostat grzewczy. Algorytmy sterowania termostatu zostały zamodelowane jako modele Matlab / Simulink i są uruchamiane na serwerze podłączonym do Internetu. Termostat wykorzystuje specyfikacje serwera do uruchomienia zaworów grzewczych.

Kierownik testów zdefiniował następującą strategię testów / podejście testowe w planie testów:

1. Test akceptacyjny dla całego systemu jest wykonywany jako test oparty na doświadczeniu.
2. Algorytmy sterowania na serwerze są sprawdzane w odniesieniu do branżowego standardu regulacji dotyczącego oszczędzania energii.
3. Test funkcjonalny termostatu przeprowadzany jest jako test oparty na ryzyku.
4. Testy bezpieczeństwa danych / komunikacji przez Internet są przeprowadzane wspólnie z zewnętrznymi ekspertami ds. bezpieczeństwa.

Jakie cztery typowe strategie / podejścia testowe zostały wdrożone przez kierownika testów w planie testów?

a) Metodyczna, analityczna, reaktywna i strategia testowa minimalizująca regresję.
b) Analityczna, strategia testowa zgodna ze standardem, konsultatywna i reaktywna.
c) Oparta na modelu, metodyczna, analityczna i konsultatywna.
d) Strategia testowa minimalizująca regresję, konsultatywna, reaktywna i metodyczna.

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

b) Analityczna, strategia testowa zgodna ze standardem, konsultatywna i reaktywna.

POPRAWNIE.
Pytanie 38.

Testujesz nową wersję oprogramowania do ekspresu do kawy. Urządzenie może parzyć różne rodzaje kawy w oparciu o cztery różne parametry: wielkość napoju, ilość cukru, dodatek mleka i rodzaj syropu. Kryteria są następujące:

  • Wielkość kawy (mała, średnia, duża).
  • Ilość cukru (brak, 1 jednostka, 2 jednostki, 3 jednostki, 4 jednostki).
  • Mleko (tak lub nie).
  • Syrop smakowy (brak, karmel, orzech laskowy, wanilia).

Sporządzasz raport o defekcie zawierający następujące informacje:

Tytuł: Niska temperatura kawy.
Krótkie podsumowanie: Po wybraniu kawy z mlekiem czas przyrządzania napoju jest zbyt długi, a temperatura jest zbyt niska (poniżej 40 °C).
Oczekiwany rezultat: Kawa powinna mieć standardową temperaturę (około 75°C).
Poziom ryzyka: Średnie.
Priorytet: Normalny.

Jaką cenną informację pominięto w powyższym zgłoszeniu defektu?
a) Rzeczywisty rezultat testu.
b) Dane identyfikujące testowany ekspres.
c) Status defektu.
d) Pomysły dotyczące usprawnienia przypadku testowego.

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

a) Rzeczywisty rezultat testu.

NIEPOPRAWNIE. Poprawna odpowiedź b)
Pytanie 39.

Która z poniższych korzyści może NAJPRAWDOPODOBNIEJ wynikać z automatyzacji
testowania?

a) Łatwość tworzenia testów regresji.
b) Łatwość zapewnienia kontroli wersji w odniesieniu do zasobów testowych.
c) Łatwość projektowania testów na potrzeby testowania zabezpieczeń.
d) Łatwość wykonywania testów regresji.

Wybierz jedną odpowiedź.

Odpowiedź ChatGPT:

d) Łatwość wykonywania testów regresji.

POPRAWNIE.

W tym uproszczonym teście ChatGPT podchodząc do egzaminu ISTQB odpowiedział poprawnie na 7 z 10 pytań, osiągnął więc wynik 70% i przy progu zdawalności na poziomie 65% miałby duże szanse na zdanie pełnego egzaminu ISTQB® Poziomu Podstawowego.
 

Źródła:
http://edu.ittraining.pl/material/Egzamin_przykladowy_ctfl_Zbior_A_ver_3_1_pl
http://edu.ittraining.pl/material/Egzamin_przykladowy_ctfl_zbior_A_ver_3_1_odpowiedzi_pl
https://chat.openai.com/chat
https://openai.com/research/gpt-4

Powiązane usługi

To powinno Cię zainteresować