Dane referencyjne - definicja
Dane referencyjne to wzorcowy, zweryfikowany zestaw oznaczeń obiektów w materiale zdjęciowym lub wideo. W kontekście anonimizacji obrazu są to najczęściej oznaczenia twarzy i tablic rejestracyjnych, używane do pomiaru skuteczności algorytmów wykrywania oraz zamazywania tych obiektów.
Dane referencyjne nie są zwykłym zbiorem plików. Obejmują obrazy lub klatki wideo, etykiety klas, współrzędne obiektów, identyfikatory klatek, metadane techniczne oraz informację o sposobie walidacji oznaczeń. W literaturze technicznej funkcjonuje zbliżone pojęcie ground truth, czyli zestaw uznany za punkt odniesienia przy ocenie modelu. Jakość danych referencyjnych bezpośrednio wpływa na wiarygodność pomiarów takich jak precision, recall, F1-score, Average Precision lub mAP.
W systemach anonimizacji zdjęć i nagrań wideo dane referencyjne odpowiadają na konkretne pytanie: czy twarz lub tablica rejestracyjna, która powinna zostać wykryta i zamazana, została rzeczywiście wykryta. Pozwalają też ustalić, czy algorytm błędnie oznaczył obiekt, który nie jest twarzą ani tablicą.
Rola danych referencyjnych w detekcji twarzy i tablic
Dane referencyjne są podstawą testów jakości detekcji. Bez nich nie da się obiektywnie ocenić, czy model wykrywa obiekty poprawnie, czy tylko sprawia takie wrażenie na wybranych przykładach.
W praktyce dane referencyjne stosuje się na kilku etapach pracy z systemem anonimizacji obrazu:
- do trenowania lub dostrajania modelu AI wykrywającego twarze i tablice rejestracyjne,
- do walidacji modelu przed wdrożeniem produkcyjnym,
- do testów regresji po zmianie wersji algorytmu,
- do porównywania skuteczności różnych konfiguracji progów detekcji,
- do dokumentowania jakości procesu anonimizacji zdjęć i wideo.
W przypadku Gallio PRO automatyczna detekcja dotyczy twarzy i tablic rejestracyjnych. Inne elementy, takie jak logotypy, tatuaże, tabliczki z imionami, dokumenty lub treści widoczne na monitorach, mogą wymagać oznaczeń manualnych i odrębnej oceny, ponieważ nie są automatycznie wykrywane jako klasy podstawowe.
Struktura danych referencyjnych
Poprawnie przygotowany zestaw referencyjny musi być jednoznaczny dla człowieka i dla narzędzia oceniającego. Najczęściej zapisuje się go w formatach używanych w computer vision, takich jak COCO JSON, Pascal VOC XML, YOLO TXT lub w eksportach narzędzi anotacyjnych, np. CVAT.
Typowy rekord danych referencyjnych zawiera następujące pola:
Element | Znaczenie techniczne | Przykład
|
|---|---|---|
Identyfikator pliku lub klatki | Łączy oznaczenie z konkretnym obrazem albo klatką wideo | video_01_frame_002340 |
Klasa obiektu | Określa typ wykrywanego elementu | face, license_plate |
Bounding box | Prostokąt opisany współrzędnymi x, y, szerokością i wysokością | x=421, y=188, w=64, h=72 |
Maska lub wielokąt | Dokładniejsze oznaczenie konturu obiektu | polygon lub binary mask |
Flagi jakości | Opisują trudność przypadku | occluded, blurred, small_object, night |
Metryki jakości oparte na danych referencyjnych
Najważniejsze metryki porównują predykcje modelu z oznaczeniami referencyjnymi. Dla detekcji obiektów punktem granicznym jest zwykle zgodność lokalizacji, mierzona przez Intersection over Union.
Podstawowy wzór ma postać:
IoU = pole przecięcia bounding boxów / pole ich unii
Jeżeli IoU przekracza przyjęty próg, predykcja może zostać uznana za trafienie. W metodologii PASCAL VOC opisanej przez Everingham i in. w 2010 r. powszechnie stosowano próg IoU 0,5. W zbiorze COCO, opisanym przez Lin i in. w 2014 r., metryka AP jest liczona dla progów IoU od 0,50 do 0,95 co 0,05, co daje bardziej wymagającą ocenę lokalizacji.
Metryka | Znaczenie | Znaczenie dla anonimizacji
|
|---|---|---|
Recall | Odsetek obiektów referencyjnych wykrytych przez model | Kluczowy dla ograniczenia pominiętych twarzy i tablic |
Precision | Odsetek predykcji, które są poprawne | Ogranicza nadmiarowe zamazywanie tła lub nieistotnych obiektów |
F1-score | Średnia harmoniczna precision i recall | Pomaga porównać konfiguracje modelu |
AP / mAP | Średnia precyzja dla klasy lub wielu klas | Umożliwia ocenę jakości detekcji przy różnych progach pewności |
Jakość i walidacja danych referencyjnych
Najczęstsze błędy w danych referencyjnych to brak oznaczenia małych twarzy, niejednolite oznaczanie częściowo zasłoniętych tablic oraz różne interpretacje granic obiektu. Takie błędy zaniżają albo zawyżają wynik modelu.
Proces walidacji powinien obejmować kontrolę spójności i niezależny przegląd próbek. W projektach wysokiego ryzyka stosuje się podwójną anotację, pomiar zgodności anotatorów oraz rozstrzyganie konfliktów przez osobę trzecią.
- Instrukcja anotacji powinna definiować, czy oznaczać twarze profilowe, odbicia, zdjęcia twarzy na plakacie i tablice częściowo niewidoczne.
- Zbiór powinien obejmować różne warunki: dzień, noc, deszcz, ruch, kompresję wideo, niską rozdzielczość i różne kąty kamery.
- Zestaw testowy nie powinien pokrywać się ze zbiorem treningowym, aby nie zawyżać wyniku.
- Każda wersja danych referencyjnych powinna mieć numer, datę, opis zmian i autora walidacji.
Odniesienia techniczne i standardy
Dane referencyjne nie mają jednej uniwersalnej normy dla anonimizacji twarzy i tablic rejestracyjnych. W praktyce korzysta się z norm jakości danych, standardów AI oraz publikacji dotyczących oceny detekcji obiektów.
Najczęściej przywoływane źródła techniczne to:
- ISO/IEC 25012:2008 - model jakości danych, obejmujący m.in. dokładność, kompletność, spójność i aktualność danych.
- ISO/IEC 22989:2022 - terminologia i pojęcia dotyczące sztucznej inteligencji.
- ISO/IEC 23053:2022 - ramy opisu systemów AI wykorzystujących uczenie maszynowe.
- ISO/IEC 19795-1:2021 - zasady testowania i raportowania wydajności systemów biometrycznych, użyteczne jako odniesienie metodologiczne dla oceny detekcji twarzy.
- COCO dataset, Lin i in., 2014 - metodologia oceny detekcji obiektów z metryką AP liczoną dla wielu progów IoU.
- PASCAL VOC, Everingham i in., 2010 - klasyczna metodologia oceny detekcji z progiem IoU 0,5.
Praktyczne znaczenie w anonimizacji zdjęć i wideo
W anonimizacji obrazu najwyższe znaczenie ma ograniczenie fałszywych negatywów, czyli przypadków, w których twarz lub tablica istnieje w materiale, ale nie została wykryta. Jednocześnie zbyt niski próg detekcji zwiększa liczbę fałszywych pozytywów i może prowadzić do nadmiarowego zamazywania.
Dane referencyjne pozwalają dobrać kompromis między czułością a precyzją. Ułatwiają też audyt działania narzędzia po zmianie modelu, formatu plików lub parametrów eksportu. W rozwiązaniach on-premise, takich jak Gallio PRO, mają dodatkowe znaczenie operacyjne: testy jakości można wykonywać lokalnie, bez przekazywania materiałów do zewnętrznej infrastruktury. Gallio PRO nie wykonuje anonimizacji strumienia wideo w czasie rzeczywistym i nie zbiera logów zawierających detekcję twarzy oraz tablic rejestracyjnych.