Współczynnik IoU - definicja
Współczynnik IoU, czyli Intersection over Union, jest techniczną miarą dopasowania obszaru wykrytego przez model do obszaru referencyjnego oznaczonego w danych testowych. W przetwarzaniu zdjęć i nagrań wideo najczęściej dotyczy ramek detekcji, czyli prostokątów obejmujących obiekty takie jak twarz lub tablica rejestracyjna.
IoU oblicza się jako stosunek pola części wspólnej dwóch obszarów do pola ich sumy zbiorów. Wartość mieści się w przedziale od 0 do 1. Wynik 0 oznacza brak nakładania się obszarów. Wynik 1 oznacza idealne pokrycie detekcji z oznaczeniem referencyjnym.
Wzór:
IoU = pole przecięcia ramki detekcji i ramki referencyjnej / pole sumy zbiorów ramki detekcji i ramki referencyjnej
W kontekście anonimizacji zdjęć i wideo IoU pomaga ocenić, czy system wykrywania twarzy lub tablic rejestracyjnych wskazuje właściwe miejsce obrazu. Nie jest to jednak samodzielna miara skuteczności anonimizacji. Narzędzie może mieć wysokie IoU dla wykrytych obiektów, ale nadal pomijać część twarzy lub tablic, jeśli ma niski recall. Może też celowo stosować większą maskę zamazania niż ramka detekcji, co obniża IoU, ale zwiększa margines bezpieczeństwa prywatności.
Rola współczynnika IoU w ocenie wykrywania twarzy i tablic
IoU jest używany do rozstrzygnięcia, czy konkretna detekcja powinna być uznana za trafienie. Porównuje się ją z tzw. ground truth, czyli ręcznie lub półautomatycznie oznaczonym zestawem referencyjnym.
W praktyce jedna ramka detekcji jest przypisywana do jednej ramki referencyjnej. Jeśli ich IoU przekracza ustalony próg, detekcja może zostać policzona jako true positive. Jeśli próg nie jest osiągnięty, detekcja jest zwykle klasyfikowana jako false positive, a nieprzypisana ramka referencyjna jako false negative, zależnie od procedury ewaluacji.
Wartość IoU | Interpretacja techniczna | Znaczenie przy anonimizacji obrazu
|
|---|---|---|
0,00 | Brak nakładania się ramek | Detekcja wskazuje niewłaściwy obszar |
około 0,50 | Częściowe, zwykle akceptowalne dopasowanie w klasycznych benchmarkach | Może wystarczyć do zgrubnego wykrycia, ale wymaga oceny marginesu zamazania |
0,75 i więcej | Dobre dopasowanie lokalizacyjne | Zwykle lepsza kontrola nad zakresem maski lub rozmycia |
1,00 | Pełne pokrycie ramek | Sytuacja idealna, rzadko występująca w realnych nagraniach |
Jak czytać próg IoU przy testowaniu narzędzia
Próg IoU jest wartością decyzyjną. Określa, od jakiego poziomu nakładania się detekcja zostaje uznana za poprawną. Dobór progu wpływa bezpośrednio na wyniki precision, recall i F1-score.
W klasycznym benchmarku PASCAL VOC detekcję uznawano za poprawną przy IoU co najmniej 0,5. W benchmarku COCO stosuje się bardziej wymagającą metrykę AP uśrednianą dla progów IoU od 0,50 do 0,95 co 0,05. Te progi pochodzą z literatury i zestawów testowych dla detekcji obiektów, a nie z przepisów prawa.
- Niższy próg, np. IoU ≥ 0,50 - lepiej pokazuje, czy model znalazł właściwy obiekt, ale słabiej ocenia precyzję położenia ramki.
- Wyższy próg, np. IoU ≥ 0,75 - mocniej karze przesunięcia i zbyt duże lub zbyt małe ramki.
- Zakres progów, np. 0,50-0,95 - daje pełniejszy obraz jakości lokalizacji, ale jest bardziej wymagający obliczeniowo i interpretacyjnie.
Przy anonimizacji twarzy i tablic rejestracyjnych nie należy oceniać wyłącznie średniego IoU. Dla Inspektora Ochrony Danych ważniejsze bywa pytanie, czy wszystkie obiekty wymagające zamazania zostały wykryte. Dlatego IoU należy czytać razem z recall, liczbą pominięć oraz analizą błędów na trudnych klatkach, takich jak ruch, odblaski, częściowe zasłonięcie twarzy lub mała tablica rejestracyjna.
IoU a maska zamazania w zdjęciach i wideo
Ramka detekcji i obszar zamazania nie muszą być identyczne. Model może wykryć twarz w prostokątnej ramce, a oprogramowanie może następnie zastosować rozmycie z dodatkowym marginesem. Taki margines zmniejsza ryzyko odsłonięcia fragmentów twarzy lub znaków tablicy rejestracyjnej.
W narzędziach takich jak Gallio PRO automatyczne wykrywanie dotyczy twarzy i tablic rejestracyjnych. Inne elementy widoczne w kadrze, takie jak logotypy, tatuaże, tabliczki z imionami, dokumenty lub treści na monitorach, nie są wykrywane automatycznie. Mogą być zamazane manualnie w edytorze, jeżeli użytkownik uzna to za potrzebne.
Scenariusz | IoU | Ryzyko interpretacyjne
|
|---|---|---|
Ramka jest dobrze dopasowana do twarzy | Wysokie | Dobry wynik lokalizacji, ale nadal trzeba sprawdzić pominięcia w innych klatkach |
Ramka jest większa niż obiekt | Niższe | IoU spada, choć prywatnościowo większy margines może być korzystny |
Ramka obejmuje tylko część tablicy | Średnie lub niskie | Może pozostać czytelny fragment numeru |
Obiekt nie został wykryty | Brak wartości dla trafienia | Kluczowy błąd z perspektywy anonimizacji |
Kluczowe parametry powiązane z IoU
IoU jest tylko jedną częścią ewaluacji. W testach systemu do zamazywania twarzy i tablic rejestracyjnych powinien występować razem z metrykami wykrywania i parametrami procesu przetwarzania.
Najczęściej analizuje się zestaw miar, ponieważ pojedyncza liczba może maskować istotne błędy. Dotyczy to szczególnie nagrań wideo, gdzie obiekt może występować przez setki klatek.
- Precision - odsetek detekcji, które rzeczywiście odpowiadają obiektom referencyjnym.
- Recall - odsetek obiektów referencyjnych, które zostały wykryte.
- F1-score - średnia harmoniczna precision i recall.
- AP, Average Precision - pole pod krzywą precision-recall, często liczone dla określonego progu IoU.
- mAP, mean Average Precision - średnia AP dla wielu klas lub progów IoU.
- Latency - czas przetwarzania klatki lub pliku, istotny przy planowaniu pracy, choć Gallio PRO nie wykonuje anonimizacji strumienia wideo w czasie rzeczywistym.
- Stabilność międzyklatkowa - ciągłość detekcji tego samego obiektu w kolejnych klatkach wideo.
Ograniczenia współczynnika IoU
IoU dobrze mierzy dopasowanie geometryczne, ale nie ocenia skuteczności samego rozmycia. Nie odpowiada na pytanie, czy po zamazaniu twarz lub tablica rejestracyjna są nadal możliwe do odczytania przez człowieka albo algorytm.
Metryka ma też ograniczenia przy małych obiektach. Dla małej tablicy rejestracyjnej przesunięcie ramki o kilka pikseli może istotnie obniżyć IoU. W przypadku dużej twarzy ten sam błąd pikselowy może być prawie niezauważalny w wyniku liczbowym.
- IoU nie mierzy jakości rozmycia, pikselizacji ani maskowania.
- IoU nie wykrywa pominiętych obiektów bez zestawienia z recall.
- IoU nie ocenia, czy maska jest wystarczająco szeroka z perspektywy ochrony prywatności.
- IoU liczony per klatka nie pokazuje pełnej stabilności detekcji w całym nagraniu.
- IoU zależy od jakości oznaczeń referencyjnych, dlatego błędny ground truth zniekształca wynik.
Odniesienia techniczne dla współczynnika IoU
IoU jest metryką techniczną, a nie pojęciem prawnym. Występuje w literaturze dotyczącej detekcji obiektów i segmentacji obrazu. Jest również blisko związany z indeksem Jaccarda, stosowanym do porównywania podobieństwa zbiorów.
Przy dokumentowaniu testów warto wskazywać źródło metodologii, próg IoU, sposób parowania detekcji z oznaczeniami oraz wersję zbioru testowego. Bez tych danych wyniki różnych narzędzi mogą być nieporównywalne.
- Jaccard, P. (1901) - pierwotna koncepcja współczynnika podobieństwa zbiorów, znana jako indeks Jaccarda.
- PASCAL VOC Challenge, Everingham et al. - popularna metodologia oceny detekcji obiektów z progiem IoU 0,5 dla poprawnej detekcji.
- COCO, Lin et al., 2014 - benchmark detekcji i segmentacji obiektów, w którym AP jest raportowane między innymi dla progów IoU od 0,50 do 0,95.
- ISO/IEC 22989:2022 - norma opisująca pojęcia z zakresu sztucznej inteligencji, przydatna jako terminologiczne tło dla systemów AI, choć nie definiuje progów IoU dla anonimizacji wideo.