Model Drift - definicja
Model drift to zmiana wydajności modelu uczenia maszynowego w czasie spowodowana zmianą danych wejściowych, rozkładów cech, etykiet lub relacji między cechami a etykietą. W literaturze rozróżnia się data drift (zmiana rozkładu wejść), concept drift (zmiana zależności wejście - etykieta) oraz label shift (zmiana rozkładu etykiet) - zob. przegląd Gama i in. 2014, ACM Computing Surveys, oraz klasyfikację Webb i in. 2016, DMKD.
W anonimizacji zdjęć i nagrań wideo model drift oznacza degradację skuteczności detekcji obiektów podlegających rozmyciu, przede wszystkim twarzy i tablic rejestracyjnych. Zmiany oświetlenia, nowych formatów tablic, masek, okularów, spadku jakości kompresji lub modernizacji kamer powodują rozjazd między danymi treningowymi a produkcyjnymi, co obniża recall i zwiększa ryzyko ujawnienia danych osobowych.
Rola model drift w anonimizacji wideo i zdjęć
W systemach takich jak Gallio PRO modele głębokiego uczenia wykrywają twarze i tablice rejestracyjne, a następnie nakładają rozmycie. Drift może skutkować brakiem wykrycia lub nieprawidłową lokalizacją obiektów. Skutek to brak rozmycia lub rozmycie zbyt małego obszaru. Z perspektywy RODO stanowi to ryzyko naruszenia zasady integralności i poufności z art. 5 ust. 1 lit. f oraz wymogu ochrony danych w fazie projektowania i domyślnej ochrony danych z art. 25 (RODO).
Gallio PRO nie wykonuje anonimizacji w czasie rzeczywistym i działa w trybie wsadowym. Ułatwia to kontrolę dryfu przez okresową weryfikację na zestawach walidacyjnych i aktualizacje modeli bez ryzyka natychmiastowego wpływu na strumień wideo.
Rodzaje i symptomy dryfu modeli w anonimizacji
W praktyce inspektora ochrony danych i zespołów technicznych przydatne jest rozróżnienie typu zmiany, ponieważ determinuje to sposób reakcji. Poniżej syntetyczne zestawienie.
Typ dryfu | Definicja (źródła) | Typowe symptomy w wideo/obrazie | Testy/miary | Działania
|
|---|---|---|---|---|
Data drift (covariate shift) | Zmiana rozkładów cech wejściowych (Gama 2014; ISO/IEC 22989:2022) | Inne oświetlenie, kąt kamery, kompresja, nowe tła | PSI, KL, KS, odległość Wassersteina | Rekalibracja, augmentacja, aktualizacja próbek |
Concept drift | Zmiana zależności wejście - etykieta (Webb 2016) | Nowe style masek, zmiany wzorów tablic, niestandardowe czcionki | Spadek mAP/recall na próbach etykietowanych | Ponowne trenowanie, rozszerzenie etykiet |
Label shift | Zmiana rozkładu etykiet przy stałej relacji wejście-etykieta (Gama 2014) | Więcej tablic nocą niż w dzień, inne proporcje twarzy zakrytych | Testy rozkładów etykiet, ważenie próbek | Reważenie, próbkowanie straty |
Kluczowe parametry i metryki - wykrywanie dryfu
Monitorowanie dryfu wymaga obiektywnych miar. W detekcji obiektów stosuje się metryki jakości i statystyki rozkładów. Poniżej najczęściej używane, wraz ze źródłami i krótkimi wzorami.
- Recall i precision detekcji obiektów - zliczane na zestawach referencyjnych z adnotacjami. Standardem raportowania jest mAP wyznaczany dla progów IoU 0.5:0.95 co 0.05 (COCO, Lin i in., 2014).
- PSI - Population Stability Index, popularny do wykrywania dryfu rozkładów. Wzór: PSI = Σ_i (p_i - q_i) * ln(p_i / q_i), gdzie p_i to udział w produkcji, q_i w referencji (Siddiqi, 2012).
- Klasyczne testy rozkładu - test Kolmogorowa-Smirnowa dla zmiennych ciągłych i test chi-kwadrat dla kategorycznych. Pozwalają wykazać istotność zmiany rozkładu cech lub wyników modelu.
- KL divergence - miara rozbieżności między rozkładami P i Q: D_KL(P||Q) = Σ P(x) ln(P(x)/Q(x)) (Kullback-Leibler, 1951).
- Odległość Wassersteina - użyteczna dla porównywania histogramów ciągłych cech obrazu i embeddingów.
- FID - Fréchet Inception Distance do oceny zmiany rozkładu reprezentacji wizualnych w przestrzeni embeddingów (Heusel i in., 2017).
Monitorowanie dryfu bez gromadzenia danych osobowych
Gallio PRO nie zbiera logów zawierających detekcje twarzy ani tablic oraz nie przetwarza logów z danymi osobowymi. Mimo to dryf można nadzorować na danych nieosobowych i zagregowanych.
- Zestawy syntetyczne i kontrolne - periodyczna ewaluacja na zestawach zdjęć testowych z adnotacjami, przygotowanych tak, by nie zawierały identyfikowalnych osób. Dobrym standardem są procedury walidacji wg ISO/IEC 23894:2023, które obejmują ocenę ryzyka związanego z systemami AI.
- Agregaty telemetryczne bez PII - rozkłady rozmiarów ramek, średnie confidence, histogramy ostrości i oświetlenia po zanonimizowaniu obrazów. Dane są agregowane i nie pozwalają na identyfikację.
- Testy rozkładów cech - PSI, KL i KS wyliczane na cechach technicznych obrazu (np. luminancja, szum) i embeddingach, które nie są wykorzystywane do odtwarzania wizerunku.
Strategie ograniczania dryfu i działania korygujące
Plan zarządzania dryfem powinien łączyć procesy MLOps z wymaganiami regulacyjnymi. NIST AI RMF 1.0 (2023) oraz ISO/IEC 22989:2022 i ISO/IEC 23894:2023 dostarczają ram dla cyklu życia i ryzyka AI.
- Re-trenowanie cykliczne - aktualizacja modeli detekcji twarzy i tablic przy użyciu nowych danych, z pełną walidacją mAP i recall na danych kontrolnych.
- Augmentacja domenowa - symulacja warunków oświetlenia, motion blur, kompresji, winiety i nowych formatów tablic, co redukuje wrażliwość na data drift.
- Kalibracja progów - regulacja progu confidence i rozmiaru marginesu maski rozmycia, aby zminimalizować niedodetekcje. Zmiany muszą być udokumentowane i testowane na zestawach referencyjnych.
- Wersjonowanie modeli i danych - repozytorium modeli, konfiguracji i zestawów testowych, ścieżki audytu zmian i wyników metryk zgodnie z zaleceniami ISO/IEC 23894:2023.
Wyzwania i zgodność
Wahania jakości nagrań, heterogeniczność kamer oraz zmieniające się przepisy lokalne zwiększają ryzyko niewystarczającego rozmycia wizerunku. EDPB w Wytycznych 3/2019 (wersja 2.0 z 29.01.2020) wskazuje, że identyfikowalne elementy takie jak wizerunek osoby (twarz) oraz numery rejestracyjne mogą stanowić dane osobowe, jeśli umożliwiają identyfikację osoby fizycznej, więc ich anonimizacja powinna zapewniać skuteczność i odporność. RODO wymaga adekwatnych środków technicznych i organizacyjnych oraz oceny ryzyka (art. 5, art. 25). W części państw Europy Zachodniej rozmywanie tablic rejestracyjnych bywa wymagane w określonych kontekstach przez przepisy lub praktykę krajową, natomiast w Polsce istnieją rozbieżności interpretacyjne w orzecznictwie, przy równoległych wytycznych UODO i EROD akcentujących ochronę identyfikowalności. W takim otoczeniu zarządzanie dryfem stanowi element due diligence i dokumentacji zgodności.
Technologie wspierające wykrywanie i redukcję dryfu
W detekcji twarzy i tablic stosuje się sieci konwolucyjne oraz transformery uczone nadzorowanie. Ich utrzymanie wymaga zaplecza do analizy rozkładów danych i ciągłej walidacji. Poniższa tabela podsumowuje wybrane praktyki.
Obszar | Praktyka techniczna | Cel | Powiązane normy/źródła
|
|---|---|---|---|
Walidacja jakości | mAP i recall@IoU [0.5:0.95] na zestawach kontrolnych | Wczesne wykrycie spadku jakości | COCO evaluation (Lin i in., 2014) |
Monitoring rozkładów | PSI, KL, KS, Wasserstein na cechach obrazu | Identyfikacja data drift | Siddiqi (2012); Kullback-Leibler (1951) |
Odporność modelu | Augmentacje domenowe i balans klas | Redukcja wrażliwości na zmiany | ISO/IEC 23894:2023 |
Zarządzanie ryzykiem | Rejestr ryzyk, kryteria eskalacji, plan retrainingu | Zgodność i audytowalność | NIST AI RMF 1.0 (2023) |
Odniesienia normatywne i źródła
Poniższa lista obejmuje źródła o wysokim autorytecie, których definicje i zalecenia są przywołane w tekście.
- RODO - Rozporządzenie (UE) 2016/679, art. 5 i art. 25; motyw 26.
- EDPB, Wytyczne 3/2019 w sprawie przetwarzania danych osobowych przez urządzenia wideo, wersja 2.0 z 29.01.2020.
- ISO/IEC 22989:2022 - Artificial intelligence - Concepts and terminology.
- ISO/IEC 23894:2023 - Artificial intelligence - Risk management.
- NIST AI Risk Management Framework 1.0, 2023.
- Gama, J. i in., A Survey on Concept Drift Adaptation, ACM Computing Surveys, 2014.
- Webb, G.I. i in., Characterizing Concept Drift, Data Mining and Knowledge Discovery, 2016.
- Lin, T.-Y. i in., Microsoft COCO: Common Objects in Context, 2014 - definicje mAP/IoU.
- Siddiqi, N., Credit Risk Scorecards, 2012 - definicja PSI.
- Kullback, S., Leibler, R.A., On Information and Sufficiency, 1951 - definicja D_KL.
- Heusel, M. i in., GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium, 2017 - FID.