Green testing. Zielone testowanie

Każde uruchomienie zestawu testowego to nie tylko krok w stronę stabilniejszego kodu, ale też konkretny koszt energetyczny, który w skali roku urasta do niepokojących rozmiarów. Jeśli weźmiemy pod uwagę, że sektor IT konsumuje aż 1,5% światowej energii (z perspektywą wzrostu do 3% przed końcem dekady), optymalizacja testów zaczyna być coraz bardziej palącą potrzebą.  

Skalę problemu dobrze obrazują wyliczenia Zaidmana. Według jego badań, roczny cykl testowy jednego projektu w Javie potrafi „spalić” 117 kWh. To tyle, ile potrzebuje auto elektryczne, by pokonać niemal 600 kilometrów. Green testing to nic innego jak inżynierska odpowiedź na to marnotrawstwo, czyli zestaw technik pozwalających ciąć zużycie energii bez ryzykowania jakością oprogramowania. 

Ale uwaga, nie musisz być "ekooszołomem", żeby ten temat Cię zainteresował. Wystarczy, że kieruje Tobą myśl o optymalizacji kosztów infrastruktury oraz to, że chcesz robić lepsze testy regresji. 

Przegląd najnowszych badań

Nie chcemy, by podejście green testing było jedynie mądrze brzmiącym hasłem, dlatego przejrzeliśmy kilka przeprowadzonych badań, które poruszają tematykę szeroko pojętego energy-aware testing. Zamiast testować wszystko i zawsze, nauka podpowiada nam dwie drogi: albo mądrzej kolejkować testy, albo bezlitośnie je redukować. 

Inteligentna kolejka (GREEDYE)

Według badań Verdecchia i jego zespołu z 2024 roku, wykorzystać można algorytm, który zamiast losowo, układa testy według ich różnorodności i tzw. „apetytu” na prąd. Dzięki zastosowaniu wektorowej reprezentacji kodu (TF-IDF), system najpierw uruchamia testy najbardziej obiecujące i najlżejsze. Wynik? Wykonując zaledwie ¼ zestawu, możemy osiągnąć oszczędność rzędu 54%. Nawet przy głębokiej weryfikacji (80% pokrycia) w kieszeni zostaje nam 30% energii, a sam koszt działania algorytmu jest marginalny (1 mWh). 

Matematyczna redukcja (EDTSO) 

Inne badanie w 2013 roku przeprowadzili Li i inni, którzy podeszli do tematu bardziej radykalnie, stosując programowanie całkowitoliczbowe (ILP). Ich narzędzie szuka absolutnego minimum – najmniejszej liczby testów, która wciąż pokrywa wszystkie wymagane ścieżki kodu. W systemach wbudowanych i mobilnych pozwoliło to ściąć zużycie prądu o 90%. To potężne narzędzie, choć wymaga sporej mocy obliczeniowej na samym starcie. 

Energetyczne pokrycie (eCoverage) 

Badania Jabbarvanda z 2016 roku nad aplikacjami na Androida pokazały, że tradycyjne metryki pokrycia kodu często nas oszukują. Wprowadzenie eCoverage pozwoliło wykazać, że aż 84% testów w typowych zestawach to po prostu szum; są one redundantne z punktu widzenia wykrywania defektów energetycznych. 

Podsumowując: jeśli zależy nam na szybkich efektach przy niskim koszcie wdrożenia, wybieramy priorytetyzację. Jeśli walczymy o każdy dżul w systemach – idziemy w stronę pełnej minimalizacji zestawów testowych. 

7 kroków do zielonego testowania

Jak rozpocząć swoje testowanie z myśleniem o zużyciu energii? Zacznij od tych prostych kroków:

1. Audyt. Sprawdź czas procesora i zużycie energii w obecnym procesie. 
2. Porządki. Usuń testy niestabilne i duplikaty. 
3. Selekcja. Wdróż mechanizm uruchamiania testów tylko dla zmienionego kodu.
4. Kolejkowanie. Zastosuj algorytmy priorytetyzacji (najpierw testy najszybsze i najważniejsze).
5. Infrastruktura. Dopasuj moc maszyn wirtualnych do realnych potrzeb testów. 
6. Dane. Wprowadź politykę retencji logów i artefaktów.
7. Kultura. Uczyń efektywność energetyczną częścią definicji done (DoD).

Od czego zacząć wdrożenie?

Przejście na zielone testowanie to proces, który można podzielić na trzy warstwy:

1. Warstwa kodu i algorytmów. Kluczem jest tzw. Impact Analysis. Nie ma sensu testować modelu płatności, gdy zmieniliśmy tylko kolor przycisku w stopce. Uruchamianie testów selektywnie, tylko dla zmienionych fragmentów kodu, to najprostszy sposób na oszczędności. Do tego warto dołożyć strategię fail-fast – najszybsze testy idą na początek, by przerwać proces natychmiast po wykryciu defektu. 
2. Optymalizacja procesów CI/CD. Warto wdrożyć testy warstwowe (ang. tiered testing). Lekkie testy jednostkowe przy każdym commicie, a ciężka artyleria dopiero przed samym mergem do głównej gałęzi. Ważna jest też higiena infrastruktury – korzystanie z efemerycznych kontenerów i automatyczne usuwanie nieużywanych środowisk testowych. 
3. Narzędzia i pomiary. Nie da się poprawić tego, czego nie umiemy zmierzyć. Dziś mamy do dyspozycji m.in. 
   1. SCI (Software Carbon Intensity), czyli standard pozwalający wyliczyć realną emisję na jednostkę pracy,
   2. Cloud Carbon Footprint, narzędzie do monitorowania śladu węglowego w AWS, Azure czy GCP
   3. Green Metrics Tool, do precyzyjnego sprawdzania, ile dżuli zjada konkretna funkcja. 

Ile można zyskać?

Poza czystym sumieniem, green testing przynosi realne oszczędności finansowe. Optymalizacja pipeline’ów w dużych organizacjach potrafi obniżyć rachunki za chmurę o 30-50%. W skali globalnych korporacji mówimy o kwotach rzędu 2 milionów dolarów rocznie. 

Ryzyka? Oczywiście są. Zbyt agresywne wycinanie testów może doprowadzić do przeoczenia defektów (tzw. false negatives). Dlatego każda zmiana w zestawie testowym musi być poprzedzona analizą ryzyka i stałym monitorowaniem skuteczności wykrywania defektów. 

Powyższe działanie to nie tylko oszczędność energii i czasu, to również szybsza i stabilniejsza regresja.