Prezentację przygotowałem w odpowiedzi na krytykę mojej innej prezentacji „Automatyzacja testów po GUI to SCAM”
Krytyczne komentarze można podsumować stwierdzeniem: „Twierdzenie bez dowodów można bez dowodów podważyć”. Problem polegał na tym, że komentujący odrzucali moje tezy nie przedstawiając żadnych konkretnych danych czy analiz, co uniemożliwiało merytoryczną dyskusję. Postanowiłem więc samodzielnie zebrać dane i opinie, które mogłyby podważyć lub też potwierdzić tezę z tej prezentacji.
W przygotowaniu do materiału posługiwałem się metodą naukową, czyli zgodnie z definicją sposobem intersubiektywnego poznawania i komunikowania wiedzy. Metoda ta opiera się na prawach logiki i prawdopodobieństwa, wykorzystuje dedukcję oraz indukcję do formułowania, testowania i korygowania teorii. Pozwoliło mi to obiektywnie zbadać problem i przedstawić wnioski, które można zweryfikować.
Jednocześnie w ramach krytycznego myślenia deklaruję otwartość na niezależną weryfikację postawionych tez oraz na krytykę.
W rozumowaniu indukcyjnym stosowałem między innymi:
- obserwację,
- pomiar,
- abstrahowanie
- eksperyment
Całość materiału ma na celu w sposób naukowy dotrzeć do prawdy o wartości poszczególnych omawianych metod kontroli jakości, w tym automatyzacji.
W przygotowaniu do opracowania korzystałem z następujących źródeł:
- Materiały wideo publikowane na platformie YouTube, które odnosiły się do testowania oraz testów automatycznych. Większość z nich skupia się jedynie na instruktażach obsługi narzędzi, podstawach dla początkujących lub subiektywnych opiniach. Nawet jeśli któraś z nich próbowała przedstawiać jakieś dane, to większość zawierała tezy bez dowodów i / lub bez wskazania badań stanowiących podstawę do danych. Uznaję je za mało wartościowe i nie linkuję do nich.
- Rozczarowaniem okazało się korzystanie z narzędzi AI takich jak Perplexity, ChatGPT, Grok, które generują odpowiedzi na prompty bazując na nieweryfikowalnych lub niewiarygodnych źródłach.
- Publikacje zaczerpnięte z szeroko pojętego Internetu, czyli artykuły popularnonaukowe, mają ograniczoną wartość badawczą, bo nawet jeśli powołują się na jakieś dane, to nie są one możliwe do zweryfikowania przez brak podania źródła. Co zaskakujące, również publikacje z uznanych repozytoriów naukowych (SIE, ACM, ResearchGate, Google Scholar) nie dotykają aspektu biznesowej opłacalności testowania oprogramowania.
- Najciekawsze i najbardziej przydatne okazały się publikacje ekspertów z obszaru testowania takich jak Dorothy Graham, Casper Jones, Boris Beizer, James Bach, czy Alan Page. Trzeba jednak podkreślić, że nawet te źródła mają swoje ograniczenia. Czasami są one subiektywne, a przytoczone w nich dane z badań i analiz dotyczą sytuacji sprzed 10-, 20- lub więcej lat. Dla rynku IT jest to na tyle dużo, że nie można ich brać za pewnik i podchodzić do nich bezkrytycznie.
W podsumowaniu można powiedzieć, że to właśnie dane i tezy z publikacji testerskich guru stanowią dominującą część całej analizy tematu opłacalności automatyzacji i innych metod kontroli jakości. Jednocześnie zakładam, że w natłoku materiałów w sieci mogłem nie dotrzeć do wszystkich wartościowych źródeł, więc będę wdzięczny za każdy materiał, który porusza tematy wspomniane w filmie i pozwoliłyby mi skorygować postawione tezy.
Zapraszam do zapoznania się z filmem:
Część źródeł użytych do opracowania prezentacji:
- https://www.investopedia.com/terms/r/returnoninvestment.asp
- „That's No Reason to Automate! [magazine]”, Mark Fewster, Dorothy Graham - July 15, 2009
- https://dorothygraham.blogspot.com/2010/05/automated-tests-should-find-bugs-no.html
- https://en.wikipedia.org/wiki/Test_automation
- https://dorothygraham.blogspot.com/2012/06/is-it-dangerous-to-measure-roi-for-test.html
- https://dorothygraham.blogspot.com/2009/06/roi-from-automation.html
- https://www.stickyminds.com/sites/default/files/article/file/2012/XDD2901filelistfilename1_0.pdf
- https://testerzy.pl/baza-wiedzy/analiza-oplacalnosci-automatyzacji-testow-studium-przypadku
- „Test Automation Snake Oil”, James Bach, 1999
- Przykładowa publikacja: „Role of Automation in Reducing Software Refactoring Costs”
- The Shift-Left Approach to Software Testing [article], Arthur Hicken, 2018
- Alan Page „The A Word”
- Software Test Automation - Gartner Magic Quadrant 2019
- https://www.methodsandtools.com/archive/archive.php?id=94
- https://dorothygraham.blogspot.com/2015/11/the-wrong-question-what-percentage-of.html
- https://dorothygraham.blogspot.com/2008/12/getting-started-with-ddp-you-probably.html
- https://www.stickyminds.com/sites/default/files/article/file/2013/XDD16320filelistfilename1.pdf
- „Accelerate: Building and Scaling High Performing Technology Organizations”, Nicole Forsgren, Jez Humble, Gene Kim
- https://testerzy.pl/baza-wiedzy/artykuly/automatyzacja-kiedy-to-ma-sens
- https://testerzy.pl/baza-wiedzy/artykuly/testowanie-manualne-i-automatyczne-roznice
- https://testerzy.pl/baza-wiedzy/artykuly/automatyzacja-testow-gui-a-automatyzacja-weryfikacji-gui
- https://testerzy.pl/baza-wiedzy/koszty-i-wartosc-automatyzacji