W skrócie: Gdy liczba materiałów wymagających anonimizacji przekracza kilkaset plików miesięcznie, wąskim gardłem przestaje być szybkość wykrywania. Kluczowe stają się projekt kolejki, ponawianie zadań i bramki kontroli jakości. Gallio PRO oferuje kontener Docker, interfejs wiersza poleceń dla systemu Linux oraz REST API w planie Enterprise, dzięki czemu anonimizacja może stać się częścią własnego procesu przetwarzania. Ten artykuł jest przeznaczony dla inżynierów MLOps, zespołów platformowych i właścicieli zbiorów danych, którzy budują taki proces.
Każdy proces anonimizacji zaczyna się tak samo: ktoś otwiera plik, przetwarza go, sprawdza wynik i eksportuje materiał. To działa - do momentu, gdy jednocześnie pojawią się trzy symptomy.
Kolejką zarządza człowiek. Materiały trafiają do zespołu szybciej, niż jeden operator jest w stanie je obsłużyć, a priorytety znajdują się w czyjejś skrzynce odbiorczej zamiast w systemie.
Brakuje mechanizmu ponawiania. Zadanie, które zakończyło się błędem po przetworzeniu 80% czterogodzinnego nagrania, jest ręcznie uruchamiane od początku przez osobę, która akurat zauważyła problem.
Brakuje historii operacji. Nikt nie potrafi odpowiedzieć, które pliki przetworzono w poprzednim kwartale, z jakimi ustawieniami i kto zatwierdził eksport. Jest to problem rozliczalności, zanim jeszcze stanie się problemem inżynieryjnym, ponieważ art. 5 ust. 2 RODO wymaga, aby administrator był w stanie wykazać zgodność z przepisami, a nie jedynie ją osiągnąć.
Pliki trafiają do katalogu wejściowego. Kontener je pobiera, przetwarza, zapisuje wynik w oddzielnym katalogu i przenosi plik źródłowy do obszaru przejściowego. Harmonogramowanie obsługują cron, systemd lub używany przez Ciebie orkiestrator.
To rozwiązanie sprawdza się w zespołach pracujących w przewidywalnych oknach wsadowych, na przykład podczas nocnego przetwarzania materiałów wyeksportowanych z kamer w ciągu dnia. Jest to model wymagający najmniejszego nakładu pracy i nie wymaga tworzenia aplikacji. Gallio PRO obsługuje go za pomocą kontenera Docker oraz interfejsu wiersza poleceń dla Linuksa dostępnych w planie Enterprise.
System obsługi spraw, platforma dowodowa lub narzędzie do etykietowania danych przesyła zadanie i otrzymuje gotowy, przetworzony wynik. Anonimizacja staje się etapem istniejącego procesu zamiast osobnym narzędziem, o którego użyciu musi pamiętać człowiek.
Ten model jest odpowiedni dla zespołów, w których anonimizacja uruchamiana jest przez zdarzenie, na przykład zatwierdzenie wniosku o eksport, a system zgłaszający już zarządza tożsamościami, uprawnieniami i audytem. Przed zaprojektowaniem integracji poproś dostawcę o dokumentację API, ponieważ nazwy endpointów, metoda uwierzytelniania, limity payloadów oraz sposób przetwarzania - synchroniczny lub oparty na zadaniach - wpływają na projekt klienta. W przypadku wdrożenia Enterprise, instalacji on-premise lub szczególnych wymagań zgodności warto skontaktować się z zespołem.
Etap | Co obejmuje? | Przed czym chroni? |
1. Przyjęcie materiału | Odbiór pliku, zapis sumy kontrolnej i źródła | Niezauważone duplikaty i pliki o nieznanym pochodzeniu |
2. Walidacja | Kontrola formatu, rozdzielczości, długości i kodeka | Zadania kończące się błędem po dwóch godzinach |
3. Kolejkowanie | Trwałe zapisywanie stanu zadania wraz z priorytetem | Utratę pracy po restarcie |
4. Przetwarzanie | Wykrywanie i rozmywanie danych | Obszar, o którym wszyscy już pamiętają |
5. Bramka QA | Próbkowanie i weryfikacja przed udostępnieniem | Przekazanie odbiorcy materiału z pominiętymi wykryciami |
6. Eksport | Dostarczenie materiału wnioskodawcy i zapis udostępnienia | Nieudokumentowane ujawnienie danych |
7. Usunięcie | Planowe usunięcie oryginału | Naruszenia zasady ograniczenia przechowywania z art. 5 ust. 1 lit. e RODO |
Etapy 2, 5 i 7 to te, które zespoły najczęściej pomijają, a później muszą tworzyć od nowa. Obsługiwane formaty wejściowe to JPG i PNG dla obrazów oraz MP4 i MOV dla materiałów wideo, dlatego walidacja na etapie 2 jest niedrogą kontrolą, która zapobiega kosztownym błędom.
Automatyzacja zmienia osobę wykonującą kontrolę, ale nie eliminuje potrzeby jej przeprowadzania. Zbuduj wyraźnie zdefiniowaną bramkę QA z trzema zasadami: stałym współczynnikiem próbkowania dla rutynowych partii, pełną weryfikacją każdego materiału przekazywanego do sądu, organu regulacyjnego lub opinii publicznej oraz określoną ścieżką do edytora ręcznego dla wyjątków.
Ścieżka obsługi wyjątków ma znaczenie, ponieważ automatyczne wykrywanie obejmuje wyłącznie twarze i tablice rejestracyjne. Identyfikatory imienne, ekrany monitorów, dokumenty, tatuaże i logotypy maskuje się we wbudowanym edytorze ręcznym, dlatego każdy plik zawierający takie elementy celowo opuszcza automatyczną ścieżkę. Jeśli to możliwe, oznaczaj te kategorie już na etapie przyjęcia materiału - na podstawie lokalizacji kamery lub rodzaju zgłoszenia - aby były kierowane do odpowiedniej ścieżki, a nie wykrywane dopiero przy bramce QA.
Wskazówki dotyczące przetwarzania konkretnych wolumenów znajdziesz w artykule o anonimizacji dużych zbiorów zdjęć i filmów. Jeżeli nagrania pochodzą z systemu zarządzania materiałem wideo, kwestie integracyjne omawia tekst o anonimizacji wideo w systemach VMS.
Ta architektura jest odpowiednia dla zapisanych materiałów przetwarzanych wsadowo: eksportów z kamer, pakietów dowodowych, zaległych archiwów i zbiorów treningowych. W przypadku zbiorów danych złożonych głównie ze zdjęć te same modele można zastosować w ramach anonimizacji obrazów w Gallio PRO, zazwyczaj przy znacznie większej liczbie plików i krótszym czasie przetwarzania pojedynczego materiału.
Nie jest to rozwiązanie dla transmisji na żywo. Gallio PRO przetwarza zapisane pliki i nie obsługuje strumieni wideo na żywo, dlatego proces zakładający ciągły strumień wymaga narzędzia z innej kategorii. Warto wskazać to już podczas przeglądu projektu, zamiast odkryć problem w trakcie integracji.
Ponieważ całe przetwarzanie odbywa się w Twojej własnej infrastrukturze, nagrania nie opuszczają środowiska organizacji, a w architekturze nie pojawia się zależność od zewnętrznego przetwarzania. To również ogranicza zakres wymagań związanych ze zgodnością. Opcje wdrożenia opisano na stronie dotyczącej anonimizacji wideo w Gallio PRO.
Tak. REST API, kontener Docker oraz interfejs wiersza poleceń dla Linuksa są dostępne w planie Enterprise. Przed zaprojektowaniem klienta poproś dostawcę o dokumentację API.
Tak. Kontener Docker jest typowym wyborem dla współdzielonego, wewnętrznego węzła przetwarzania, a cała operacja odbywa się na własnym sprzęcie organizacji.
Podziel je na segmenty, przetwarzaj każdy segment niezależnie, a następnie połącz je ponownie. W razie awarii tracisz wówczas tylko jeden fragment zamiast całego zadania, a postęp pozostaje zachowany po restarcie.
Tak. Należy wdrożyć wyraźną bramkę QA ze współczynnikiem próbkowania dla rutynowych partii, pełną weryfikacją materiałów przeznaczonych dla sądów, organów regulacyjnych lub opinii publicznej oraz ścieżką do edytora ręcznego dla obiektów niewykrywanych automatycznie.
Nie w przypadku Gallio PRO. Narzędzie przetwarza zapisane pliki, a nie strumienie na żywo, dlatego procesy należy projektować wokół przetwarzania wsadowego lub uruchamianego zdarzeniowo dla przechowywanych materiałów.
