Redakcja
Pod adresem http://mrbuggy.pl/mrbuggy6/ znajdziecie testowaną aplikację, listę defektów oraz 3 przykładowe raporty.
Ocena członków Komisji tegorocznej aplikacji jest zbliżona do tego, co dotarło do naszej Redakcji. Komisja pisze: "Entuzjastyczne oceny samego MrBuggy bardzo nas cieszą, ale usłyszeliśmy też ciekawe głosy zestawiające wersję 5 i 6 aplikacji. “Piątka” była skomplikowana, bardzo trudna do zrozumienia, a co dopiero do przetestowania, przez to odzwierciedlała naturalne środowisko każdego testera. “Szóstka” była w sam raz. Szybko można było się zorientować czym jest i do czego służy oraz w ciągu 3 godzin sprawdzić wszystkie funkcje."
W podsumowaniu na pewno zaskakuje liczba samych zgłoszeń: "Łatwość aplikacji i jej duża liczba zaszytych błędów przełożyła się na rekordową liczbę zgłoszeń - było ich ponad 2300. I to pomimo (albo dzięki) braku specyfikacji wymagań. Tym samym został pobity rekord z poprzedniego roku, gdzie raportowanie nie-defektów nie było karane. W 2017 r. nie-defekty stanowiły około 30% wszystkich zgłoszeń, w 2018 było to niecałe 10% zgłoszeń."
Komisja pisze dalej: "Przed zawodami znaliśmy 41 defektów, a Wam udało się znaleźć 48 kolejnych."
Znaczącą zmianą w tym roku było postawienie na testowanie eksploracyjne; do mniejszych można zaliczyć udostępnienie szablonów dokumentacji i tu ciekawe ciekawostka: "Zaeksperymotowaliśmy w tym roku z wzorcowymi dokumentami raportu, które zostały dostarczone wraz z aplikacją, co zostało bardzo pozytywnie przez Was odebrane w podsumowaniach. Co dziwne po raz pierwszy żadna drużyna nie zdobyła kompletu punktów (35 pkt) za raport. Może to wynikać ze specyfiki raportowania w testowaniu eksploracyjnym, które w tym roku pojawiło się po raz pierwszy w historii naszej imprezy."
Komisja przypomina również, co przyczyniło się do uzyskania dobrego rezultatu. Decyzje podjęte przez najlepszych zawodników i drużyny będą zapewne cenną wskazówką przed edycją 2019:
"Większa koncentracja na zgłoszeniach defektów, a nie pisaniu raportów; ze względu na dużą liczbę poważnych defektów raporty odgrywały drugoplanową rolę, nie koncentrowanie się na prostych defektach formularzy, ale analizowanie logiki aplikacji; to tam były najwyżej oceniane defekty szerokie opisywanie “kontrowersyjnych” defektów; czasami w testowaniu eksploracyjnym trzeba nie tylko pokazać problem, ale jeszcze uzasadnić dlaczego to jest defekt, zrezygnowanie z raportowania zgłoszeń, które nie można jednoznacznie określić jako defekt i gdzie ciężko określić czy tak to powinno działać."
No i na koniec liczby, które robią olbrzymie wrażenie jeśli chodzi o zakres pracy do wykonania:
75 drużyn, 26 zawodników indywidualnych (w tym 1 nieobecny).
Liczba zgłoszeń w poszczególnych kategoriach (po ocenie Komisji):
- 118 sugestii (za 0 punktów)
- 289 duplikatów (za 0 punktów)
- 39 niezrozumiałych (za 0 punktów)
- 209 nie-defektów (za -5 punktów)
- 114 niereprodukowalnych (za 0 punktów)
- 9 literówek (za 0 punktów)
- 240 problemów językowych / użyteczności / UX (za 1 punkt)
- 3 defekty komunikatów błędów (za 3 punkty)
- 715 zgłoszeń bezpieczeństwa / defektów w mało krytycznym obszarze funkcjonalnym (za 5 punkty)
- 490 błędów funkcjonalnych (za 7 punkty)
- 105 defektów krytyczny błąd funkcjonalny (za 10 punktów).
Więcej na stronie http://blog.testingcup.pl/summary-of-the-work-of-the-referee-commission/
