Standardy testowania opisane są w dwóch dokumentach – "TEST & EVALUATION HANDBOOK" oraz "VERIFICATION AND VALIDATION GUIDELINES". Przyjrzyjmy się im osobno.
"TEST & EVALUATION HANDBOOK"
Dokument pokazuje nam jaki udział w procesie AMS (Acquisition Management System Lifecycle) ma testowanie. Obszary kontroli jakości opisane są przy pomocy:
- zielonych trójkątów głównego wysiłku testerskiego (ang. Major Test Efforts),
- pomarańczowych trójkątów (ang. Test & Evaluation Products),
- niebieskich trójkątów (ang. Technical Reviews).
Dodatkowe wyjaśnienia skrótów znajdują się pod grafiką.
Widoczna jest seria działań oraz produktów testerskich, które towarzyszą praktycznie każdemu półproduktowi wytworzonemu w procesie, jak i wersjom końcowym produktów.
Dokument ten sugeruje również podziały na poziomy testów.
Zaczynając od osobnej weryfikacji hardware-u i software-u, po zintegrowane produkty. Całości towarzyszy ciągła kontrola potencjalnego regresu produktu.
Operacyjny proces testowy w ramach tworzenia oprogramowania wygląda jak na grafice poniżej.
Dokument proponuje również strukturę dokumentacji testowej z planami testów i procedurami.
"VERIFICATION AND VALIDATION GUIDELINES"
V&V ma systemowe zastosowanie w całym cyklu życia AMS, wspierając FAA w tworzeniu najlepszych produktów. V&V wspiera kluczowe decyzje i zapewnia, że stworzony produkt spełni wymagania specyfikacji. Produktami tymi mogą być systemy, usługi, zmiany operacyjne lub obiekty. V&V poprawia ogólną skuteczność i efektywność projektu oraz jego zarządzania w całym cyklu życia AMS. Jest to systematyczna działalność, która wspiera podejmowanie decyzji i zarządzanie ryzykiem.
Wyższe kierownictwo podejmuje decyzje dotyczące rozwoju w krytycznych kamieniach milowych (punktach decyzyjnych), aby zapewnić, że przejście przez cały cykl życia AMS jest oparty na wiedzy i akceptowalnym ryzyku. Wspierając podejmowanie decyzji, V&V zmniejsza ryzyko poprzez zapewnienie, że informacje użyte do podjęcia decyzji są dokładne i wiarygodne. Każdy punkt decyzyjny wymaga opracowania zweryfikowanych i zwalidowanych produktów pracy, które dostarczają informacji o postępie i statusie opracowywanej usługi lub produktu.
Rysunek poniżej przedstawia ogólny przepływ V&V. Bieżące produkty pracy, produkty i komponenty produktu są weryfikowane względem wymagań i walidowane względem potrzeb, określonych w poprzednich produktach pracy, produktach i komponentach produktu. Na przykład, specyfikacja systemu jest weryfikowana pod kątem wymaganych standardów i szablonów, które określają jej zawartość oraz format. Specyfikacja systemu będzie walidowana względem potrzeb w dokumencie wymagań programowych, który jest specyfikacją wyższego poziomu, określającą potrzeby w formie wymagań operacyjnych. Rezultaty otrzymane z V&V wspierają kluczowe decyzje programowe i ograniczanie ryzyka. Każdy produkt pracy staje się następnie podstawą do V&V przyszłych produktów pracy (lub produktu końcowego). Proces ten kładzie duży nacisk na produkty pracy opracowane we wczesnym etapie cyklu życia AMS, takie jak analizy braków, koncepcje rozwiązań operacyjnych oraz dokumenty dotyczące wymagań. Te produkty pracy muszą zostać zwalidowane, aby zapewnić, że zbudowany został właściwy produkt.
Oba dokumenty niosą szerokie opisy działań, szablony, wzorce oraz przykłady użycia. Do ich pełniejszego zrozumienia potrzebna będzie ich głębsza analiza, do której zachęcamy.