Interpolacja masek - definicja
Interpolacja masek to technika uzupełniania położenia, kształtu i parametrów maski pomiędzy ręcznie ustawionymi klatkami kluczowymi w materiale wideo. W kontekście anonimizacji nagrań dotyczy najczęściej maski rozmycia, pikselizacji lub pełnego zakrycia twarzy, tablicy rejestracyjnej albo innego fragmentu obrazu wskazanego manualnie przez operatora.
Maska opisuje obszar obrazu, do którego ma zostać zastosowany efekt anonimizacji. Może mieć formę prostokąta, elipsy, wielokąta, ścieżki wektorowej albo mapy pikselowej alfa. Klatka kluczowa zapisuje stan maski w konkretnym czasie, na przykład jej współrzędne, rozmiar, kąt obrotu, promień rozmycia i miękkość krawędzi. Interpolacja oblicza stany pośrednie, aby użytkownik nie musiał ręcznie poprawiać każdej klatki nagrania.
W praktyce interpolacja masek jest używana wtedy, gdy automatyczne wykrywanie twarzy lub tablic rejestracyjnych wymaga korekty albo gdy trzeba zamazać element niewykrywany automatycznie, na przykład logo, tatuaż, tabliczkę z imieniem lub treść widoczną na monitorze. W Gallio PRO automatyczne zamazywanie obejmuje twarze i tablice rejestracyjne. Inne obiekty mogą być maskowane ręcznie w edytorze.
Jak działa interpolacja masek w edycji ręcznej?
Podstawowy model interpolacji zakłada, że operator ustawia maskę na początku i końcu krótkiego fragmentu wideo. System wylicza jej położenie w klatkach pośrednich. Najprostsza metoda używa interpolacji liniowej, czyli proporcjonalnej zmiany wartości parametrów względem czasu.
Dla współrzędnej x można zapisać to jako:
x(t) = x1 + ((t - t1) / (t2 - t1)) * (x2 - x1)
gdzie t1 i t2 oznaczają czasy klatek kluczowych, a x1 i x2 oznaczają pozycje maski. Analogicznie można interpolować współrzędną y, szerokość, wysokość, obrót, przezroczystość i promień rozmycia.
W bardziej zaawansowanych narzędziach interpolacja może korzystać z estymacji ruchu lub przepływu optycznego. Klasyczne prace w tym obszarze to metoda Lucas-Kanade z 1981 r. oraz metoda Horn-Schunck z 1981 r., opisujące wyznaczanie ruchu punktów obrazu między klatkami. W zastosowaniach anonimizacyjnych takie podejście pomaga utrzymać maskę na twarzy lub tablicy, gdy obiekt porusza się nieliniowo.
Typy interpolowanych parametrów maski
Maska anonimizacyjna nie jest tylko prostokątem na obrazie. Jej stan może obejmować parametry geometryczne i parametry efektu graficznego. Ma to znaczenie przy audycie jakości, ponieważ błąd jednego parametru może odsłonić identyfikujący fragment obrazu.
Parametr | Znaczenie techniczne | Ryzyko przy błędnej interpolacji
|
|---|---|---|
Pozycja x, y | Środek lub narożnik maski w układzie współrzędnych obrazu | Maska przesuwa się obok twarzy lub tablicy |
Rozmiar | Szerokość i wysokość maskowanego obszaru | Fragment twarzy, numeru lub znaku pozostaje widoczny |
Obrót | Kąt maski względem osi obrazu | Problem przy tablicach widocznych pod kątem |
Kształt | Kontur maski, wielokąt lub mapa alfa | Niedopasowanie do obiektu częściowo zasłoniętego |
Feathering | Miękkość krawędzi maski | Zbyt miękka lub źle ustawiona krawędź może pozostawić czytelne fragmenty |
Promień rozmycia | Siła efektu anonimizacji | Zbyt słabe rozmycie pozostawia czytelne cechy |
Kluczowe metryki jakości interpolacji masek
Ocena interpolacji masek powinna być oparta na porównaniu maski wynikowej z maską referencyjną, często określaną jako ground truth. W zadaniach segmentacji i śledzenia obiektów stosuje się miary znane z computer vision, w tym IoU oraz metryki używane w benchmarku DAVIS opisanym przez Perazziego i współautorów w 2016 r.
Metryka | Opis | Zastosowanie w anonimizacji wideo
|
|---|---|---|
IoU, Intersection over Union | Stosunek pola części wspólnej maski i obiektu do pola ich sumy mnogościowej | Sprawdza, czy maska pokrywa właściwy obszar |
Recall pokrycia | Odsetek pikseli obiektu objętych maską | W anonimizacji zwykle ważniejszy niż sama precyzja |
Precision maski | Odsetek pikseli maski należących do obiektu | Ogranicza nadmierne zakrywanie obrazu |
Błąd centroidu | Odległość środka maski od środka obiektu | Pomaga wykrywać dryf maski |
Temporal stability | Stabilność maski między kolejnymi klatkami | Wykrywa migotanie, skoki i utratę ciągłości |
W systemach anonimizacji błąd fałszywie negatywny jest zwykle bardziej krytyczny niż fałszywie pozytywny. Oznacza to, że chwilowe odsłonięcie twarzy lub tablicy jest poważniejszym problemem niż zamazanie niewielkiego dodatkowego fragmentu tła.
Zastosowania interpolacji masek w anonimizacji wideo
Interpolacja masek ma największą wartość w materiałach, w których obiekt jest widoczny przez wiele klatek, ale jego ruch jest przewidywalny. Operator może wtedy ustawić kilka klatek kluczowych zamiast ręcznie poprawiać każdą klatkę.
- korekta automatycznego zamazania twarzy, gdy twarz jest częściowo zasłonięta lub widoczna pod nietypowym kątem,
- ręczne zamazanie tablicy rejestracyjnej, gdy automatyczna detekcja nie zadziałała z powodu odbicia światła, zabrudzenia lub ruchu,
- zamazanie logo, tatuażu, identyfikatora, ekranu monitora lub innego elementu wskazanego przez operatora,
- utrzymanie spójnego rozmycia na obiekcie poruszającym się przez scenę,
- korekta fragmentów po cięciach montażowych, zmianach skali lub zmianach perspektywy.
Pułapki i ograniczenia interpolacji masek
Interpolacja nie rozumie semantyki sceny, jeśli nie jest wspierana detekcją lub śledzeniem obiektu. Oblicza stany pośrednie na podstawie zadanych punktów, dlatego może generować poprawnie wyglądający, ale błędny wynik.
- Ruch nieliniowy - twarz lub tablica zmienia kierunek, a maska porusza się po linii prostej.
- Okluzja - obiekt znika za przeszkodą, lecz maska pozostaje widoczna albo przesuwa się na inny obiekt.
- Cięcie montażowe - interpolacja przez granicę ujęcia może przenieść maskę na niepowiązaną scenę.
- Zmienna liczba klatek na sekundę - przy plikach VFR pozycja maski powinna być liczona według znaczników czasu, nie tylko numerów klatek.
- Kolejność dekodowania i prezentacji - w kodekach z klatkami B kolejność zapisu może różnić się od kolejności wyświetlania.
- Zmiana skali obrazu - transkodowanie ze zmianą skali, zmiana proporcji lub obrót materiału wymaga przeliczenia współrzędnych maski.
Z tego powodu po interpolacji konieczny jest przegląd jakościowy. W materiałach o wysokim ryzyku identyfikacji należy sprawdzić nie tylko klatki kluczowe, ale także klatki pośrednie, zwłaszcza w pobliżu szybkiego ruchu i zmian ujęcia.
Dobre praktyki pracy z interpolacją masek
Poprawna praca z maskami wymaga krótkich odcinków interpolacji i świadomego ustawiania klatek kluczowych. Im dłuższy odcinek bez klatki kontrolnej, tym większe ryzyko dryfu maski.
- Dodawaj klatkę kluczową przed i po zmianie kierunku ruchu obiektu.
- Nie interpoluj maski przez cięcie montażowe lub nagłą zmianę perspektywy.
- Stosuj zapas na krawędziach maski, szczególnie przy rozmyciu twarzy i tablic.
- Sprawdzaj wynik w pełnej rozdzielczości eksportu, a nie tylko w podglądzie roboczym.
- Przy tablicach rejestracyjnych uwzględniaj odbicia, kompresję i rozmycie ruchu.
- Po transkodowaniu kontroluj, czy układ współrzędnych maski nadal odpowiada obrazowi.
Odniesienia techniczne dla interpolacji masek
Interpolacja masek nie jest pojedynczym standardem prawnym ani jedną zamkniętą specyfikacją. Opiera się na praktykach edycji wideo, grafiki komputerowej, kodowania obrazu i computer vision. Przy projektowaniu procesu warto odwoływać się do dokumentów technicznych dotyczących formatu, czasu prezentacji klatek i oceny segmentacji.
- ISO/IEC 14496-12:2022 - ISO Base Media File Format, istotny dla struktury kontenerów MP4 i znaczników czasu.
- ITU-T H.264 oraz ISO/IEC 14496-10 - standard kodowania AVC, ważny przy analizie kolejności klatek i transkodowania.
- ISO/IEC 23008-2:2020 - HEVC, standard kodowania wideo używany w wielu nagraniach wysokiej rozdzielczości.
- Lucas, Kanade, 1981 - klasyczna metoda estymacji przepływu optycznego dla lokalnego ruchu obrazu.
- Perazzi et al., 2016, DAVIS - benchmark segmentacji obiektów wideo z metrykami jakości masek.