Redakcja
Duża ilość dostępnych narzędzi stawia nas w sytuacji, w której musimy odsiać te, które posiadają kiepski system zarządzania testami, przez co mogą przyczynić się do wydłużenia czasu potrzebnego na realizację naszego projektu.
Po intensywnej, wakacyjnej pracy, z okazji dużej aktualizacji TestAreny, narzędzia do zarządzania testami, chcemy przedstawić Wam dwie propozycje oraz porównać oba rozwiązania które mogą usprawnić pracę przy projektach testowych. Skorzystanie z proponowanych rozwiązań może przełożyć się na realne korzyści finansowe, płynące z płynnie przeprowadzonych testów na zlecenie klienta.
Jako przykład wybraliśmy dwa darmowe narzędzia, TestArena oraz Testlink i przeanalizowaliśmy ich funkcjonalności.
TestArena, narzędzie dla każdego
Gotowy i darmowy system rozwiązań do zarządzania testami przeznaczony do wsparcia projektów testerskich. Jest on rozpowszechniony na licencji GNU General Public License v2.
W obecnej chwili aplikacja jest gotowa do pobrania ze strony domowej http://testarena.pl/ wraz z pełną dokumentacją.
Co najważniejsze, jest cały czas rozwijana, a dowodem na to jest wakacyjna aktualizacja o której wspominaliśmy tutaj >>
Aktualizacja usprawniła wiele funkcji zawartych w narzędziu oraz wprowadza nowe rozwiązania polepszające komfort pracy.
TestArena korzysta z doświadczeń ludzi, którzy na co dzień pracują z narzędziami do zarządzania testami. Tworzona jest przez zespół doświadczonych deweloperów oraz testerów oraz we współpracy z testerzy.pl.
Narzędzie zbudowane jest na zasadzie sieci powiązań między osobami zarządzającymi testami, którzy przydzielają zadania a poszczególnymi testerami, odpowiedzialnymi za realizację zadań, w których zawarte są różne testy do wykonania. Użyty system uprawnień dla poszczególnych użytkowników jest dość prosty i zwiera podział na „Administratora” i „Użytkownika”. Podział ten został usprawniony przez zmianę mechanizmu ról i uprawnień oraz implementację nowych typów uprawnień.
Funkcjonalności zaimplementowane w TestArenie nie odbiegają od popularnych komercyjnych rozwiązań przeznaczonych do zarządzania testami.
Aplikacja posiada czytelne menu, a korzystanie z funkcjonalności w nim zawartych jest bardzo intuicyjne, nawet dla nowego użytkownika. Edycja kolejnych zadań nie sprawia kłopotu testerowi, a system rozwiązań graficznych jest prosty i czytelny, co pomaga w obsłudze poszczególnych opcji.
TestArena skierowana jest zarówno do małych zespołów bądź testerów indywidualnych, jak i do dużych grup testerskich, zajmujących się projektami wielozadaniowymi
Główne cechy:
- czytelny GUI,
- intuicyjna obsługa,
- bezpłatna aplikacja, która stale jest rozwijana,
- rozbudowany i intuicyjny system zarządzania projektami testerskimi,
- integracja z narzędziami Jira i Mantis,
- wbudowany komunikator.
TestLink, także dla ambitnych
Testlink to w całości darmowe i powszechnie dostępne narzędzie do zarządzania procesem testów. Program oparty jest na licencji (GNU General Public License), co również pozwala na samodzielne adoptowanie programu na potrzeby konkretnych zespołów i firm.
Tak jak w przypadku Test Areny, kod aplikacji również został stworzony w języku PHP.
Platforma skupia się na uszczegółowieniu kwestii scenariuszy i przypadków testowych, oferując rozbudowany system opcji i funkcji, które pozwalają uściślić kontrole przesyłanych i przydzielanych raportów. Ostatnia wersja pochodzi ze stycznia bieżącego roku.
Wersja demo w języku polskim dostępna jest na serwerach testerzy.pl.
Zachęcamy do zalogowania się na gościnnym koncie i sprawdzenia funkcjonalności tego narzędzia. Dostępne jest ono tutaj >>
System daje również możliwość stworzenia własnego konta. Po podaniu swoich podstawowych danych, otrzymujemy dostęp do przykładowej bazy danych przypadków testowych.
Do korzystania wystarcza w zupełności dostęp do Internetu i przeglądarka internetowa.
Aby zainstalować Testlink wystarczy mieć dostęp do serwera wspierającego php4 i MySQL. Więcej o samym programie oraz o jego instalacji na stronie domowej: http://www.testlink.org
Użytkownicy aplikacji uczestniczą w projektach na bazie uprawnień przydzielanych przez osobę zarządzającą. Możliwe role i funkcje do wykorzystania: Guest, Test Designer, Senior tester, Tester, Leader i Administrator.
W zależności od wybranego typu użytkownika zmienia się zasięg dostępnych funkcji i opcji, co uszczelnia stopień kontroli nad przebiegiem prac. Schemat przypomina odwróconą piramidę; najliczniejsza grupa testujących (regularny użytkownik) będzie jednocześnie grupą z najmniejszym zasobem dostępnych funkcji. Aplikacja umożliwia tworzenie własnych ról - „custom”. Przypadki testowe można grupować w ramach zdefiniowanych scenariuszy testowych. Można samodzielnie dodawać słowa kluczowe i tym samym wprowadzać dodatkowe linie powiązań między przypadkami. Program posiada mocno rozbudowane opcje dotyczące wyszukiwania (łącznie 17 kryteriów) i szeregowania. Testlink praktycznie nie posiada interfejsu graficznego, co dla niektórych może być wadą, choć nie jest to znaczącym argumentem dla ostatecznej oceny aplikacji. W pierwszym kontakcie narzędzie jest mało czytelne i brakuje mu intuicyjności, która poprowadziłaby przeciętnego użytkownika przez strukturę aplikacji.
Główne cechy:
- wielojęzyczność (w tym j. polski),
- darmowy z licencją GNU,
- integracja (choć nie zawsze pełna) z innymi popularnymi narzędziami ja: Mantis, Jira, Bugzilla i inne,
- brak wymagań (poza przeglądarką),
- mała intuicyjność aplikacji,
- mało rozbudowane GUI,
- rozbudowane funkcje szeregowania, opisywania i wyszukiwania przypadków testowych.
Zestawienie najważniejszych cech
| TestArena | TestLink |
|---|---|
| Czytelne, rozbudowane i nowoczesne GUI | Skromne i archaiczne GUI. Głównie tekst |
| Intuicyjna obsługa | Mało intuicyjny układ |
| Bezpłatna aplikacja, wciąż rozwijana | Bezpłatna aplikacja, wciąż rozwijana |
| Rozbudowany system zarządzania projektami | Rozbudowany system zarządzania projektami |
| Integracja z narzędziami Jira i Mantis | Integracja (choć nie zawsze pełna) z popularnymi narzędziami jak: Mantis, Jira, Bugzilla i inne |
| Wbudowany komunikator | Brak |
| Niewielkie wymagania | Niewielkie wymagania |
| Dwie wersje językowe: polska i angielska | Wielojęzyczność (w tym j. polski) |
| Rozbudowane funkcje szeregowania, opisywania i wyszukiwania przypadków testowych; duża ilość opcji dla przetwarzanych zadań | Rozbudowane funkcje szeregowania, opisywania i wyszukiwania przypadków testowych; duża ilość opcji dla przetwarzanych zadań |
Trochę szerzej o funkcjonalnościach
TestArena
Panel aplikacji, czyli tzw. „kokpit” to główny ekran zarządzania projektami w TestArenie. Daje Użytkownikowi możliwość szybkiego rozeznania się w statusie wybranego projektu, ponieważ wyświetlane są tam przydzielone do niego zadania (i powiązane z nim informacje).
W panelu administracji użytkownik może zarządzać projektami, rolami, kontami użytkowników, a szereg opcji tam zawartych daje nam pełną kontrolę nad projektami.
Na stronie "kokpitu" mamy dostępny spory wybór opcji, dość rozbudowanych względem innych darmowych rozwiązań. Opcja zarządzania całym projektem daje nam szeroki wachlarz możliwości, a co najważniejsze, uwzględnia również opcję importu/eksportu projektów.
TestArena umożliwia integrację projektów z narzędziami do zarządzania defektami jak Jira i Mantis. Jest to mniejszy zakres niż w przypadku TestLinka. Aby powiązać projekt z którymś z tych narzędzi nie trzeba tak jak w przypadku TestLinka ingerować w kod aplikacji - integracja jest możliwa poprzez panel administratora.
W menu bocznym dostępne są funkcjonalności, które pozwalają nam w bardzo prosty sposób zarządzać naszym projektem testowym.
Moduł „Wydania” pozwala na stworzenie wydań wybranego projektu. Umożliwiają one podział projektu na różne wydania, które często będą odzwierciedlały występujące po sobie etapy. Pozwala to lepiej zorganizować pracę w danym projekcie.
Moduł „Środowiska” ułatwia kategoryzację zadań i defektów ze względu na wykorzystywane środowiska.
Moduł „Wersje” umożliwia dodawanie ich do projektu, co ułatwia identyfikację zadań i defektów.
„Zadania” to najważniejszy element projektu. Moduł ten pozwala zorganizować pracę w projekcie i podzielić obowiązki pomiędzy użytkowników. Zadania są tworzone w obrębie danego projektu i przypisywane są do konkretnych użytkowników.
„Defekty” to zgłoszenia znalezionych problemów w ramach wykonywanych testów. TestArena umożliwia tworzenie, edytowanie lub bezpośrednie mapowanie zgłoszeń z powiązanych narzędzi śledzenia defektów (Jira/Mantis) w obrębie projektu.
Poszczególnym zadaniom, jak i defektom możemy przypisać tagi, które umożliwiają łatwe grupowanie ich oraz wyszukiwanie.
Na ekranie "Baza testów" (funkcjonalność dostępna z menu bocznego) użytkownik ma możliwość przeglądania stworzonych testów dla wybranego projektu. Z poziomu tego ekranu użytkownik z odpowiednimi uprawnieniami może zarządzać już stworzonymi testami. Opcja ta daje możliwość stworzenia kilku rodzajów testów, w tym testu automatycznego.
Rozwinięciem powyższej opcji jest możliwość stworzenia listy kontrolnej, która pozwala na szczegółowe zarządzanie naszym testem. Daje nam ona możliwość stworzenia wielu pozycji, gdzie wygodnie, punkt po punkcie możemy np. zapisywać kolejne kroki lub wytyczne dla testu. Mamy również możliwość dodania plików do listy, co niejednokrotnie pomoże np. w późniejszym odtwarzaniu wybranego przypadku.
„Pliki” to wbudowana funkcjonalność do zarządzania plikami, które można do niej dodać, a następnie wykorzystywać jako załączniki do projektów.
„Komunikator” umożliwia bezpośrednią komunikację między użytkownikami.
TestArena pozwala również wygenerować raport z przeprowadzanych testów do dwóch popularnych plików: .csv i .pdf.
Dokładniejszy opis funkcjonalności aplikacji jest dostępny pod tym adresem: http://testarena.pl/ w zakładce "Dokumentacja".
Testlink
Menu składa się z trzech głównych części - menu górnego, lewego i prawego.
Na górze wyświetlane są opcje zależne od praw przydzielonych zalogowanemu użytkownikowi, dostępne niezależnie od wybranej opcji i projektu. Nie jest ono przeładowywane po wyborze z pozostałych menu. Każdy użytkownik może dokonywać zmian w danych osobowych, ustawieniach języka menu, haśle czy widoku historii logowania.
Menu lewe, które jest pewnym rozwinięciem głównego menu pozwala zarządzać projektami,, użytkownikami, rolami, wymaganiami i ich specyfikacją; pozwala tworzyć przypadki testowe i je specyfikować. Przechowuje listę plików z dokumentacją.
Menu prawe zależy od wybranego i przydzielonego projektu. Pozwala zarządzać planem testów i jego zawartością, zarządzać przypadkami testowymi.
Tworzenie nowego projektu to tabela z projektami i własnościami, które w szerokim stopniu można zmieniać. Nowo utworzony projekt jest dodany do listy projektów i od razu funkcjonuje jako projekt bieżący dla użytkownika, który go stworzył. Możliwe jest przypisywanie i definiowanie wielu ról w ramach projektu, każdemu użytkownikowi może zostać przypisana inna rola w różnych projektach.
Kastomizacja z poziomu menu daje wiele możliwości, między innymi: definiowanie wielu pól opcjonalnych i ich przypisywanie, zarządzanie słowami kluczowymi i platformami.
W zarządzaniu platformami można importować i eksportować dane do i z plików, tak samo jak w pozostałych opcjach zarządzania.
Specyfikacja wymagań pozwala na wykonanie wielu operacji, posiada rozbudowany widok na listę wymagań ze specyfikacją wymagań. Bezpośrednio z listy dostępne są opcje dodatkowe - poza zwykłą edycją i tworzeniem nowej listy można je np. importować lub eksportować, zamrażać wymagania lub bezpośrednio drukować.
Specyfikacja wymagań pozwala nam również na wersjonowanie oraz daje nam wgląd do całej historii zmian, które zostały wprowadzone.
Dostajemy również bardzo bogaty podgląd wymagań, jak i możliwość wyszukiwania z opcją filtrowania pod względem wielu kryteriów.
Specyfikacja testów daje nam wiele możliwości jak np. wyszukiwanie przypadków testowych pod względem wielu kryteriów, drzewko nawigacyjne, z którego wybrać można zestaw testów lub pojedynczy przypadek testowy i przydzielić do wybranego wymagania lub wymagań.
Tak jak dla poprzednich opcji tak też dla Specyfikacji testów tuż po otwarciu jest dostępne okno z pomocą.
Po zaznaczeniu głównego punktu, węzła projektu, dostępne są przyciski z operacjami do tworzenia struktury zestawów testów zgodnie z wymaganą konwencją. Opis zestawu testów może przechowywać zakres zawartych przypadków testowych, domyślną konfigurację, odnośniki do powiązanych dokumentów, ograniczenia lub inne użyteczne informacje - wszystkie one będą dostępne w przypadkach testowych należących do tego zestawu testów.
Zestawy testów mogą być również importowane i eksportowane razem z zawartymi w nich przypadkami testowymi.
Zaznaczając nowo utworzony zestaw testów w drzewie nawigacyjnym i klikając w opcję „Create” znajdującą się w „Test Suite Operations” można zagłębiać zestawy testów, możliwe jest też kopiowanie i przenoszenie zestawów w ramach projektu.
Klikając w w/w opcję można opisać konkretny przypadek testowy z wymaganiami wstępnymi, aktywnymi polami w bieżącym projekcie, określić typ wykonania, stopień ważności, przypisać słowa kluczowe.
Widok nowego przypadku testowego daje nam możliwość dodania kolejnych kroków, edycji, załączania plików, historii zmian, itp.
Dokładne wersjonowanie możliwe jest dla każdego przypadku testowego, można również podejrzeć inne wersje danego PT.
Interfejs do integracji TestLinka z narzędziem JIRA jest dostępny od wersji 1.6.1. Połączenie TestLinka z systemem do śledzenia błędów jest dokonywany przez zmiany w plikach konfiguracyjnych. Na poziomie panelu administracyjnego nie da się już wprowadzić zmian w konfiguracji z systemem śledzenia błędów. TestLink umożliwia uruchomienie JIRY, aby stworzyć błąd, a później ręcznie dodać ID błędu do wyniku wykonania testu. Do błędów dołączonych do wyników testów można się połączyć przez link, którym jest ID błędu. Gdy błąd jest rozwiązany, to ID błędu ukazuje się jako przekreślone w wierszu wykonania testu.
Są to tylko niektóre z ważniejszych funkcjonalności, co już daje nam pogląd na bardzo rozbudowany system zarządzania projektami testowymi.
Szerszą analizę funkcjonalności, krok po kroku możecie znaleźć tutaj >>
Który sprawdzi się lepiej?
Obydwa narzędzia oferują rozbudowany system zarządzania testami w ramach prowadzonego projektu dla mniej lub bardziej rozbudowanej grupy testerów. Aplikacje są darmowe i dostępne dla każdego użytkownika. Posiadają integracje z najbardziej popularnymi narzędziami jak wspomniany Mantis i Jira, jednak w przypadku TestLinka użytkownicy zgłaszali ograniczenia na tym polu.
W pierwszym kontakcie zdecydowanie lepiej wypada TestArena, która ma przyjemniejszy i czytelniejszy interfejs, zapewniając tym samym lepszy wgląd w ilość dostępnych funkcjonalności.
W przypadku TestLinka trzeba przeznaczyć pewien okres czasu, aby przebrnąć przez podstawowe zasady działania i dla niektórych użytkowników pierwszy kontakt z aplikacją może być zniechęcający.
Program oferuje większą szczegółowość organizowanych zadań oraz ich śledzenia i wyszukiwania. Jednocześnie sprawia to, że jest mniej przejrzysty wizualnie.
Obie aplikacje w bardzo szczegółowy sposób pozwalają definiować i modyfikować funkcje użytkowników. Kwestia wyboru wspomnianych aplikacji jest raczej kwestią dostosowania do własnych potrzeb. TestArena wydaje się być bardziej uniwersalnym i łatwiejszym w obsłudze narzędziem aniżeli TestLink, ponieważ jest dopasowana do każdego rodzaju użytkownika.
W ostatecznym werdykcie można powiedzieć, że decydującym czynnikiem w wyborze narzędzia powinien być rodzaj przeprowadzanych testów i sposób organizacji pracy, gdyż same funkcje w obu programach powinny wystarczyć dla tworzenia i nadzorowania procesu testowego dla prowadzonych projektów.
Źródła:
