Testowanie w regulacjach Federalnej Administracji Lotnictwa

Testowanie w regulacjach Federalnej Administracji Lotnictwa
Testowanie i Ocena (ang. Test & Evaluation) oraz Weryfikacja i Walidacja (ang. Verification & Validation) to najważniejsze procesy w opracowaniach dostarczanych przez Radę Standardów Testowych (TSB) w Federalnej Administracji Lotnictwa (FAA). Oba silnie dotyczą kontroli jakości, więc warto zwrócić na nie uwagę.

Standardy testowania opisane są w dwóch dokumentach – "TEST & EVALUATION HANDBOOK" oraz "VERIFICATION AND VALIDATION GUIDELINES". Przyjrzyjmy się im osobno.

"TEST & EVALUATION HANDBOOK"

Dokument pokazuje nam jaki udział w procesie AMS (Acquisition Management System Lifecycle) ma testowanie. Obszary kontroli jakości opisane są przy pomocy:

  • zielonych trójkątów głównego wysiłku testerskiego (ang. Major Test Efforts),
  • pomarańczowych trójkątów (ang. Test & Evaluation Products),
  • niebieskich trójkątów (ang. Technical Reviews).

Dodatkowe wyjaśnienia skrótów znajdują się pod grafiką.

testowanie-w-regulachach-fal-1.jpg

Widoczna jest seria działań oraz produktów testerskich, które towarzyszą praktycznie każdemu półproduktowi wytworzonemu w procesie, jak i wersjom końcowym produktów.
Dokument ten sugeruje również podziały na poziomy testów.

testowanie-w-regulachach-fal-2.jpg

Zaczynając od osobnej weryfikacji hardware-u i software-u, po zintegrowane produkty. Całości towarzyszy ciągła kontrola potencjalnego regresu produktu.

Operacyjny proces testowy w ramach tworzenia oprogramowania wygląda jak na grafice poniżej.

testowanie-w-regulachach-fal-3.jpg

Dokument proponuje również strukturę dokumentacji testowej z planami testów i procedurami.

testowanie-w-regulachach-fal-4.jpg

"VERIFICATION AND VALIDATION GUIDELINES"

V&V ma systemowe zastosowanie w całym cyklu życia AMS, wspierając FAA w tworzeniu najlepszych produktów.  V&V wspiera kluczowe decyzje i zapewnia, że stworzony produkt spełni wymagania specyfikacji.  Produktami tymi mogą być systemy, usługi, zmiany operacyjne lub obiekty.  V&V poprawia ogólną skuteczność i efektywność projektu oraz jego zarządzania w całym cyklu życia AMS. Jest to systematyczna działalność, która wspiera podejmowanie decyzji i zarządzanie ryzykiem.

Wyższe kierownictwo podejmuje decyzje dotyczące rozwoju w krytycznych kamieniach milowych (punktach decyzyjnych), aby zapewnić, że przejście przez cały cykl życia AMS jest oparty na wiedzy i akceptowalnym ryzyku.  Wspierając podejmowanie decyzji, V&V zmniejsza ryzyko poprzez zapewnienie, że informacje użyte do podjęcia decyzji są dokładne i wiarygodne.  Każdy punkt decyzyjny wymaga opracowania zweryfikowanych i zwalidowanych produktów pracy, które dostarczają informacji o postępie i statusie opracowywanej usługi lub produktu.
 
Rysunek poniżej przedstawia ogólny przepływ V&V.  Bieżące produkty pracy, produkty i komponenty produktu są weryfikowane względem wymagań i walidowane względem potrzeb, określonych w poprzednich produktach pracy, produktach i komponentach produktu.  Na przykład, specyfikacja systemu jest weryfikowana pod kątem wymaganych standardów i szablonów, które określają jej zawartość oraz format.  Specyfikacja systemu będzie walidowana względem potrzeb w dokumencie wymagań programowych, który jest specyfikacją wyższego poziomu, określającą potrzeby w formie wymagań operacyjnych.  Rezultaty otrzymane z V&V wspierają kluczowe decyzje programowe i ograniczanie ryzyka.  Każdy produkt pracy staje się następnie podstawą do V&V przyszłych produktów pracy (lub produktu końcowego).  Proces ten kładzie duży nacisk na produkty pracy opracowane we wczesnym etapie cyklu życia AMS, takie jak analizy braków, koncepcje rozwiązań operacyjnych oraz dokumenty dotyczące wymagań.  Te produkty pracy muszą zostać zwalidowane, aby zapewnić, że zbudowany został właściwy produkt.

testowanie-w-regulachach-fal-5.jpg

Oba dokumenty niosą szerokie opisy działań, szablony, wzorce oraz przykłady użycia. Do ich pełniejszego zrozumienia potrzebna będzie ich głębsza analiza, do której zachęcamy.

Źródła:
https://www.faa.gov/about/office_org/headquarters_offices/ang/offices/tc/activities/vandv
https://www.faa.gov/sites/faa.gov/files/about/office_org/headquarters_offices/ang/tehandbook.pdf
https://fast.faa.gov/docs/vandvguidelines.doc

To powinno Cię zainteresować