Czym są precyzja i czułość?

Precyzja i czułość - definicja

Precyzja i czułość to podstawowe miary jakości detektora obiektów. W anonimizacji zdjęć i nagrań wideo opisują, jak skutecznie model wykrywa twarze lub tablice rejestracyjne oraz jak często wskazuje obiekty, których nie powinien oznaczyć.

Precyzja, ang. precision, określa udział poprawnych detekcji wśród wszystkich detekcji wskazanych przez model. Czułość, ang. recall lub sensitivity, określa udział poprawnie wykrytych obiektów wśród wszystkich obiektów, które rzeczywiście występują w materiale. W kontekście zamazywania twarzy i tablic rejestracyjnych czułość ma bezpośredni wpływ na ryzyko pominiętej anonimizacji.

Miary te liczy się na zbiorze testowym z oznaczeniami referencyjnymi, czyli ground truth. Dla detekcji obrazowej ważne jest nie tylko to, czy obiekt został znaleziony, ale także czy ramka detekcji wystarczająco dobrze pokrywa rzeczywistą twarz lub tablicę.

Podstawowe wzory dla precyzji i czułości

Do obliczenia metryk używa się klasyfikacji wyników detektora na trafienia poprawne, fałszywe alarmy i pominięcia. W detekcji twarzy oraz tablic rejestracyjnych najważniejsze są trzy kategorie: TP, FP i FN.

Na tej podstawie oblicza się dwie główne miary:

Precyzja = TP / (TP + FP)

Czułość = TP / (TP + FN)

W praktyce wysoka precyzja oznacza mniej niepotrzebnych zamazań. Wysoka czułość oznacza mniejsze ryzyko pozostawienia widocznej twarzy lub tablicy rejestracyjnej.

Znaczenie czułości dla ryzyka pominiętej detekcji

W procesach anonimizacji zdjęć i wideo pominięta detekcja zwykle ma większe znaczenie niż fałszywy alarm. Jeśli twarz lub tablica rejestracyjna nie zostanie wykryta, nie zostanie też automatycznie zamazana.

Ryzyko to rośnie w materiałach trudnych technicznie. Dotyczy to zwłaszcza nagrań o niskiej rozdzielczości, silnej kompresji, dużym rozmyciu ruchu, słabym oświetleniu, nietypowym kącie kamery lub częściowym zasłonięciu obiektu. Dla tablic problemem może być także odbicie światła, zabrudzenie, mały rozmiar w kadrze lub nietypowy format.

Wysoka czułość jest szczególnie istotna przy przetwarzaniu dużych zbiorów nagrań, gdzie ręczna kontrola każdej klatki jest kosztowna. Nie oznacza jednak, że czułość można analizować bez precyzji. Zbyt niski próg detekcji może zwiększyć liczbę fałszywych alarmów i spowodować zamazywanie elementów, które nie wymagają anonimizacji.

Próg detekcji, IoU i kompromis między metrykami

Precyzja i czułość zależą od ustawień detektora. Kluczowe znaczenie ma próg ufności, czyli minimalny wynik modelu wymagany do zaakceptowania detekcji.

Obniżenie progu ufności zwykle zwiększa czułość, ponieważ model akceptuje więcej potencjalnych twarzy lub tablic. Jednocześnie może obniżyć precyzję, ponieważ rośnie liczba fałszywych detekcji. Podwyższenie progu działa odwrotnie: zwykle poprawia precyzję, ale może zwiększać liczbę pominięć.

W detekcji obiektów stosuje się także miarę IoU, ang. Intersection over Union. Określa ona stopień pokrycia ramki przewidzianej przez model z ramką referencyjną. W benchmarkach, takich jak PASCAL VOC i Microsoft COCO, detekcję uznaje się za poprawną dopiero po przekroczeniu ustalonego progu IoU, np. 0,5 lub zestawu progów od 0,5 do 0,95.

Kluczowe metryki stosowane przy ocenie detektora

Precyzja i czułość są punktem wyjścia, ale przy ocenie detektora twarzy i tablic warto analizować także miary pochodne. Pozwalają one porównać modele przy różnych progach i na różnych zbiorach danych.

Praktyczne zastosowanie w anonimizacji zdjęć i wideo

W systemach takich jak Gallio PRO detektor wskazuje twarze i tablice rejestracyjne, a następnie oprogramowanie nakłada na nie maskę zamazującą. Gallio PRO nie wykonuje anonimizacji strumienia wideo w czasie rzeczywistym. Przetwarzanie dotyczy materiałów zdjęciowych i nagrań przekazanych do obróbki.

Ocena precyzji i czułości powinna być wykonywana na materiale podobnym do rzeczywistego zastosowania. Test na nagraniach z kamer nasobnych nie musi odzwierciedlać wyników dla monitoringu parkingowego, kamer samochodowych lub zdjęć z oględzin terenowych.

W praktycznej walidacji warto uwzględnić co najmniej:

• osobne wyniki dla twarzy i tablic rejestracyjnych,
• wyniki dla zdjęć i dla klatek wideo,
• małe obiekty, częściowe zasłonięcia i trudne oświetlenie,
• analizę FN, ponieważ pominięcia wpływają na ryzyko niepełnej anonimizacji,
• ręczny przegląd przypadków granicznych po automatycznym przetwarzaniu.

Gallio PRO automatycznie wykrywa twarze i tablice rejestracyjne. Inne elementy, takie jak logotypy, tatuaże, identyfikatory, dokumenty lub treści widoczne na ekranach, nie są wykrywane automatycznie. Mogą wymagać ręcznego zamazania w edytorze.

Ograniczenia interpretacji precyzji i czułości

Same wartości procentowe nie wystarczają do oceny jakości anonimizacji. Należy znać zbiór testowy, sposób anotacji, próg IoU, próg ufności oraz rozkład trudnych przypadków.

Detektor może osiągać wysokie wyniki na zbiorze referencyjnym i jednocześnie działać gorzej na nagraniach z innego typu kamer. Przyczyną jest zmiana domeny danych, np. inna ogniskowa, inne oświetlenie, kompresja lub perspektywa. Dlatego wyniki laboratoryjne należy uzupełniać testami na próbie materiałów z docelowego procesu.

Odniesienia techniczne

Pojęcie precyzji i czułości jest neutralne jurysdykcyjnie. Wynika z metodyki oceny modeli klasyfikacji i detekcji, a nie z konkretnego aktu prawnego.

• ISO/IEC 22989:2022, Artificial intelligence concepts and terminology - terminologia systemów AI.
• ISO/IEC 23053:2022, Framework for Artificial Intelligence Systems Using Machine Learning - ramy opisu systemów uczenia maszynowego.
• NIST AI Risk Management Framework 1.0, 2023 - zarządzanie ryzykiem systemów AI, w tym ocena i pomiar działania.
• Everingham et al., The PASCAL Visual Object Classes Challenge, 2010 - metodyka oceny detekcji obiektów z użyciem IoU i AP.
• Lin et al., Microsoft COCO: Common Objects in Context, 2014 - benchmark detekcji obiektów i miary AP przy wielu progach IoU.