Jakub Grzegorczyk
Dlaczego po udostępnieniu modelu na zewnątrz wszystko się sypie?
Kiedy podczas pisania swojej pracy inżynierskiej zacząłem badać wykrywanie twarzy wygenerowanych przez sztuczną inteligencję, szybko zrozumiałem jedną rzecz. Wysoki wynik w raporcie rzadko przekłada się na wyniki testów, w których pojawiają się prawdziwi użytkownicy – ze smartfonami o różnej specyfikacji, wrzucający zdjęcia z różnych generatorów, o różnej kompresji, innej scenerii i w innym oświetleniu. Wierzymy metrykom, które sami do tych testów przygotowaliśmy, zapominamy jednak zapytać, co ten model tak właściwie mierzy. Czy rozpoznaje on syntetyczną twarz? Czy może nauczył się tylko specyficznych artefaktów z danych, które wykorzystane były do treningu? Tu leży problem.
W badaniu zespołu Sheng-Yu Wanga z UC Berkeley przeanalizowano zjawisko "transferowalności detektorów" (z ang. cross-generator generalization). Detektor, który został zbudowany z modelu wytrenowanego na syntetycznych obrazach z jednego generatora, osiągał na nim blisko 100% "średniej precyzji" (z ang. average precision). Wystarczyło jednak podsunąć mu grafiki wygenerowane przez inną architekturę, z której sieć nie korzystała w trakcie nauki. Wtedy skuteczność zdecydowanie spadła aż do okolic 40-60%. Oznacza to, że wytrenowana sieć neuronowa po przetestowaniu na zdjęciach wygenerowanych innym modelem zaczęła po prostu zgadywać.
W swoich testach widzę to niemal na każdym kroku. Kiedy zmieniam generator na nowszy, pewność jest mniejsza. Dlatego tak ważne jest budowanie zróżnicowanych baz danych, służących do trenowania modelu.
Syntetyczne twarze dawno opuściły laboratoria i stały się dochodowym biznesem w mediach społecznościowych. Przykładem są wirtualni influencerzy, tacy jak Aitana Lopez czy Lil Miquela.
W artykule Euronews Next o hiszpańskiej modelce AI opisano, jak wspomniana Aitana zgromadziła setki tysięcy obserwujących (na dzień publikacji tego artykułu jest to ponad 400 tysięcy osób, przyp. red.), podpisuje komercyjne kontrakty i zarabia nawet do 10 000 euro miesięcznie. Co ciekawe, wielu użytkowników, w pojawiających się komentarzach nadal bierze ją za prawdziwą kobietę.
Dlaczego nasze systemy detekcji nie oznaczają takich profili automatycznie jako AI?
Ponieważ zanim obraz w ogóle trafi do detektora, musi przejść przez Internet.
Wyjaśniają to oficjalne wyniki konkursu Deepfake Detection Challenge na platformie Kaggle. Konkurs polegał na tym, że inżynierowie z całego świata trenowali detektory na udostępnionej bazie ponad 100 tysięcy klipów, a następnie ich modele sprawdzano na ukrytym zbiorze testowym, w którym wideo poddano zróżnicowanej kompresji, zaszumieniu, zmianom formatu i innym "utrudnieniom".
Na etapie testów topowe algorytmy przekraczały 82% skuteczności. Jednak po zderzeniu z ukrytym zbiorem, dokładność najlepszego rozwiązania spadła do zaledwie 65% W laboratorium zazwyczaj badamy czysty plik bez strat. Natomiast do sieci obraz trafia na serwery Instagrama, Facebooka czy X, gdzie podlega algorytmom, które dokonują automatycznej kompresji i redukcji rozdzielczości. To dlatego unikamy przesyłania sobie zdjęć przez Messengera – właśnie ze względu na jakość.
W badaniu FaceForensics++ autorzy pokazali, jak kompresja wpływa na wyniki działania algorytmu. Klasyfikatory na niezmodyfikowanym pliku osiągały około 98% skuteczności, co jest wynikiem niemal idealnym. Gdy ten sam materiał poddano mocniejszej kompresji (podobnej do t.j. jaką stosują algorytmy dla serwerów mediów społecznościowych), skuteczność spadła o ponad 40 punktów procentowych i osiągnęła poziom 55%. Różnica jest kolosalna.
A co w sytuacji, gdy mamy do czynienia z celowym działaniem człowieka?
W pracy Nicolasa Carliniego i Hany'ego Farida autorzy sprawdzili odporność detektorów na ataki adwersarialne, czyli celowe próby oszukania sztucznej inteligencji.
Do wygenerowanego zdjęcia dodano zakłócenie – odwrócono wartość najmniej znaczącego bita w wartościach pikseli, i to wystarczyło. o ile człowiek patrzący na ekran nie dostrzeże żadnej różnicy, o tyle dla sieci neuronowej oznaczało to całkowite przestawienie wag – twarz ocenioną wcześniej w 87% jako fałszywą, model uznał po modyfikacji za w 99% autentyczną, a metryka ogólnej skuteczności detekcji (AUC) z wartości 0,95 spadła niemal do zera, osiągając 0,0005.
Czy to oznacza, że budowanie detektorów nie ma sensu?
Wręcz przeciwnie, potrzebujemy ich bardziej niż kiedykolwiek, tyle że musimy zmienić podejście do ich projektowania.
Model wytrenowany raz, w idealnych warunkach, na jednym zbiorze, w sieci internetowej staje się bezużyteczny. Po prostu nie daje rady. Jeśli detektor ma działać poprawnie, to musi być regularnie aktualizowany, uczony na różnych architekturach generatorów i odporny na zniekształcenia. Ładne wykresy w raporcie cieszą oko. W praktyce jednak liczy się to, jak sieć radzi sobie z nieidealnymi, ale realistycznymi danymi.
Podsumowując – prawda jest taka, że nawet najlepszy algorytm na świecie nie da nam stuprocentowej gwarancji. Zawsze zostaje margines błędu. Detektor powinien być dla nas wsparciem i pierwszym filtrem, ale prawdziwa weryfikacja to taka, w której połączymy wynik modelu z weryfikacją źródła i kontekstu, a na końcu decyzję podejmie krytycznie myślący człowiek.
