Redakcja
Korzystając z okazji tygodniowego pobytu na tym niesamowitym wydarzeniu, pokusiłem się o analizę rynku związanego z testowaniem oprogramowania oraz form jego prezentacji. Pomimo dużego wzrostu zapotrzebowania na usługi testowania aplikacji liczbę wystawców oferujących takie usługi można było policzyć na palcach jednej ręki . Wszystkie wystawiające się firmy oferowały testowanie użyteczności oraz testy eksploracyjne w oparciu o crowdsourcing. Większość z nich to organizacje we wczesnej fazie rozwoju (startupy współfinansowane ze środków UE), istniejące na rynku poniżej 3 lat. Mimo to zainteresowanie ich stoiskami, umieszczonymi w hali 6 pod hasłem „Webciety” było zadowalające. Stoiskami opiekowali się młodzi, pełni zapału ludzie.
Model współpracy przy zlecaniu testów
Firmy crowdsourcingowe posiadają zazwyczaj zarejestrowanych testerów, którzy są gotowi w około 24 godziny przetestować określony zakres funkcjonalny lub użyteczny naszego projektu. Procedura współpracy wygląda następująco:
1. Określamy zakres testów, wskazując czy zależy nam na testach użyteczności (usability) czy na wyszukiwaniu błędów, a następnie przygotowujemy scenariusze testowe, które każdy z testerów będzie musiał zrealizować. Warto pamiętać o określeniu wskaźników na których nam zależy (np. czas dotarcia przez testera do określonej funkcjonalności). Alternatywnie, opis scenariuszy testowych możemy zlecić firmie testującej. Przykładami zastosowania są: wyszukiwanie błędów (eksploracyjne oraz wg. scenariuszy), testowanie użyteczności (beta testerzy, ocena prototypów).
2. Określamy grupę docelową. Firmy oferujące usługi testowania posiadają zazwyczaj bazę kilku tysięcy zarejestrowanych użytkowników, przy czym każdy z nich opisany jest dość szczegółowym zbiorem informacji. Możemy np. przeprowadzić testy na grupie 30 kobiet, pomiędzy 20 a 25 rokiem życia, posiadających prawo jazdy i mieszkających w Warszawie. Warto zaznaczyć, że prawie żadna z firm, z którymi miałem okazję rozmawiać nie mogła zagwarantować, że w przypadku ponownego zlecenia tych samych testów na tym samym profilu grupy docelowej trafimy na dokładnie te same osoby, które testowały wcześniej. Średni koszt pracy jednego testera wynosi od 100 do 200 Euro za jeden cykl testowy. Na cenę mają wpływ: ilość scenariuszy testowych, firma której zlecamy usługi, forma dokumentacji jaką chcemy otrzymać.
3. Udostępniamy obiekt testów firmie testującej.
4. Firma testująca rozsyła informacje do sprofilowanej grupy użytkowników i rozpoczyna się proces testów. Niektóre firmy umożliwiają nam samym wybór testerów poprzez udostępnione wyszukiwarki (każdy tester jest oceniany przez klientów w 5 stopniowej skali) Co ciekawe, niektóre z firm gwarantowały, że przeprowadzenie testów oraz przekazanie ich wyników jest możliwe w ciągu 24 godzin od złożenia zamówienia. Dokumentacja samego procesu testowego (w zależności od firmy), polega na nagrywaniu obrazu z pulpitu (wraz z komentarzami audio), robieniu zrzutów ekranu, notowaniu wniosków testerów podczas realizacji scenariuszy testowych. Tak zebrany „surowy” materiał możemy otrzymać w ciągu doby.
5. Przygotowanie raportu. Po testach, firmy dokonują syntezy zebranych informacji, wyszukując wspólne (zgłoszone przez największą liczbę testerów) i najbardziej kluczowe informacje, które pomogą nam podnieść jakość produktu. Spośród trzech firm, przykładowym raportem dysponował tylko TestHub i niestety muszę przyznać, że jego jakość (przy takiej cenie) pozostawia wiele do życzenia. Składa się on z 2 części: charakterystyki grupy docelowej (5 stron wykresów – po dwa wykresy na stronę) oraz 15 stron tabel z komentarzami do scenariuszy testowych. Komentarze to cytaty testerów pisane językiem naturalnym.
Niewątpliwymi zaletami tego typu testów jest różnorodność środowisk testowych (każdy tester korzysta z własnego komputera w domu) oraz szybkość przeprowadzenia testów. Wadami są koszty oraz niska jakość testów – pamiętajmy, że w przypadku crowdsourcingu podczas testowania, którego celem jest wyszukiwanie błędów w oprogramowaniu niewielu testerów ma pojęcie o odpowiednim dobieraniu danych testowych oraz metodyce prowadzenia profesjonalnych testów. Ważnym aspektem jest również fakt, że oferta większości firm skierowana była jedynie na rynek niemiecki.
Odwołania
TestHub (http://www.testhub.com) – stoisko oceniam jako najlepiej zorganizowane pod względem merytorycznym oraz materiałów promocyjnych (jako jedyni mogli zaprezentować przykładowy raport z testów). Usługi skierowanie jedynie na rynek niemiecki. Posiadają największą grupę testerów – około 4 000 osób oraz najbardziej zaawansowane metody rejestrowania przebiegu testów.
Rapid User Tests (http://rapidusertests.com) – rozmowa była dosyć krótka, być może ze względów na problemy z językiem angielskim po stronie opiekunów stoiska. Ukierunkowani jedynie na rynek niemiecki. Jako główny atut prezentują szybkość przeprowadzenia testów.
TestBirds (http://www.testbirds.com) - stoisko dobrze przygotowane merytorycznie, firma oprócz testów użyteczności oferuje również testowanie eksploracyjne. Firma chwali się swoimi klientami, takimi jak Braun czy Dr. Oetker. Ich usługi są najdroższe w stosunku do pozostałych wystawców.
Userlutions (http://userlutions.com) – oferta obejmuje głównie testowanie użyteczności.
Cezary Kamiński
cezarykaminski.pl
