Podsumowanie Automated TestingCup 2016

Podsumowanie Automated TestingCup 2016
Za nami kolejna edycja Automated Testing Cup. W porównaniu do ubiegłego roku organizatorzy postanowili zmienić odrobinę formułę zawodów tak, aby jak najwierniej odwzorować rzeczywistą pracę testera automatycznego w projekcie informatycznym.

W tym celu została przygotowana aplikacja webowa, która jest oparta o rzeczywisty proces biznesowy wspierający rejestrację na egzaminy oferowane np. przez centra egzaminacyjne.

Dla uczestników zawodów zostały przygotowane dwie wersje aplikacji. Pierwsza wersja (0.1) była udostępniona przed zawodami wraz z podręcznikiem użytkownika oraz wybranymi User Story, które należało pokryć testami automatycznymi. Drużyny otrzymały również wskazówkę jakie funkcjonalności mogą się pojawić w wersji 0.2. Druga wersja została udostępniona w dniu zawodów i zawierała ona nowe funkcjonalności oraz kilka błędów regresji.

W trakcie zawodów uczestnicy mieli za zadanie:

  • Zweryfikować poprawność działania testów na środowisku testowym z zainstalowaną wersja 0.2.
  • Napisać nowe skrypty testowe do wskazanych funkcjonalności.
  • Uruchomić komplet testów i przygotować raport zawierający listę wykonanych testów oraz ich wyniki.
  • Zaktualizowany kod umieścić we wskazanym repozytorium.

 

Na wszystko uczestnicy mieli 2,5 godziny. Z informacji uzyskanych od uczestników wynika, że zaproponowana forma zawodów była dla nich sporym wyzwaniem, ale też dostarczyła im sporo ciekawych wniosków i nowego doświadczenia.

Testerzy napotkali wiele problemów takich jak stabilność testów, czy czas ich trwania. Wiele testów dawało fałszywie negatywne wyniki. Spowodowane to było między innymi uzależnianiem testów od danych znajdujących się już w aplikacji. Przez narzucony limit czasowy uczestnicy nie mieli czasu aby stosować się do powszechnie znanych i sprawdzonych reguł takich jak DRY (Don’t repeat yourself), wiele kodu było po prostu skopiowane i wklejone do innych testów.  

 

W tym roku podium było następujące:

I miejsce: Objectivity Team (Wrocław)
II miejsce: EO-AA (Warszawa)

III miejsce: GFT Poland (Warszawa)

 

Po sprawdzeniu prac organizatorzy przygotowali podsumowanie połączone z panelem dyskusyjnym. Omawianą tematyką była praca testera automatycznego w zespole zwinnym, a wręcz podważenie tezy, czy tester potrafi pracować zwinnie.

 

Poniżej kilka statystyk z zawodów:

1. Ilość drużyn: 6

2. Użyte technologie i narzędzia:

  • C# / Selenium / xunit
  • C# / Selenium / UnitTestFramework
  • Java / Serenity
  • Python / Selenium / Pytest
  • Java / Selenide / Cucumber
  • Groovy / Geb / Spock

3. Ilość napisanych testów: 36 + 38+ 24 + 57 + 17 + 34 = 206

4. Średnia ilość napisanych testów na drużynę: 34,3

5. Ilość komitów ogółem: 414

6. Założona ilość branchy: 18

 

To było trudne zadanie i bardzo cieszy wysoki poziom otrzymanych skryptów. W przyszłym roku zadanie będzie jeszcze trudniejsze. Już teraz serdecznie zapraszamy!

 
 
 
 
 
 
 

To powinno Cię zainteresować