Zeitliche Konsistenz - Definition
Zeitliche Konsistenz beschreibt die Fähigkeit eines Bild- oder Videoanonymisierungsprozesses, für dasselbe Objekt über aufeinanderfolgende Videobilder hinweg eine stabile Datenschutzmaske anzuwenden. Beim Unkenntlichmachen von Gesichtern und Kfz-Kennzeichen wird das Objekt in der Regel durch eine verfolgte Begrenzungsbox, ein Polygon oder eine Segmentierungsmaske auf Pixelebene dargestellt. Position, Größe, Form und Abdeckung durch Weichzeichnung oder Verpixelung sollten sich entsprechend der Bewegung des Objekts verändern.
Ein zeitlich konsistentes Ergebnis verhindert, dass ein Gesicht oder Kfz-Kennzeichen in einem Bild weichgezeichnet ist, im nächsten teilweise sichtbar wird und später wieder weichgezeichnet erscheint. Diese unerwünschte Schwankung wird als Maskenflackern oder zeitliches Flackern bezeichnet. Sie kann identifizierbare Bildinformationen kurzfristig offenlegen, selbst wenn das Anonymisierungsergebnis bei der separaten Prüfung einzelner Bilder ausreichend erscheint.
Die zeitliche Konsistenz ist ein technisches Qualitätsmerkmal. Sie ist nicht mit der Genauigkeit der Gesichtsdetektion gleichzusetzen. Ein System kann Gesichter in vielen einzelnen Bildern zuverlässig erkennen und dennoch eine inkonsistente Maskierung erzeugen, wenn es Detektionen desselben bewegten Objekts nicht über die Zeit hinweg miteinander verknüpft.
Warum zeitliche Konsistenz bei der Videoanonymisierung wichtig ist
Ein Video besteht aus einer Abfolge zusammenhängender Bilder. Objekte bewegen sich, ändern ihre Ausrichtung, werden teilweise verdeckt, verlassen den Bildausschnitt und erscheinen erneut. Kompressionsartefakte, Bewegungsunschärfe, schlechte Lichtverhältnisse, Reflexionen und Kamerabewegungen können die Detektionsqualität zusätzlich beeinträchtigen. Ein bildweiser Ansatz behandelt jedes Bild unabhängig und kann deshalb zu einer instabilen Abdeckung durch Weichzeichnung oder Verpixelung führen.
Für den Datenschutz kann bereits ein kurzer unmaskierter Zeitraum relevant sein. Betrachtende können ein Video anhalten, einzelne Bilder prüfen oder Software zur Extraktion von Einzelbildern einsetzen. Zeitliche Konsistenz trägt daher dazu bei, das Risiko zu verringern, dass ein Gesicht oder Kfz-Kennzeichen bei Detektionsfehlern, Wechseln der Objektverfolgung oder abrupten Änderungen der Objektposition sichtbar wird.
In der Praxis muss ein Anonymisierungsworkflow für zeitliche Konsistenz folgende Bedingungen berücksichtigen:
- Detektion von Gesichtern und Kfz-Kennzeichen in jedem relevanten Bild.
- Zuordnung eines erkannten Objekts zu demselben Objekt in benachbarten Bildern.
- Vorhersage der Objektposition, wenn eine Detektion vorübergehend fehlt.
- Stabile Erweiterung der Maske, sodass die Weichzeichnung oder Verpixelung auch Objektkanten abdeckt.
- Kontrollierter Umgang mit Verdeckungen, Szenenwechseln und dem erneuten Auftreten von Objekten.
- Prüfung des ausgegebenen Videos, statt sich ausschließlich auf Detektionsergebnisse zu verlassen.
Detektion, Objektverfolgung und Maskenfortpflanzung
Zeitliche Konsistenz wird üblicherweise durch die Kombination aus Objektdetektion und Multi-Object-Tracking erzeugt. Die Detektion identifiziert mögliche Gesichter oder Kfz-Kennzeichen in einem Bild. Die Objektverfolgung verknüpft diese Detektionen anschließend über mehrere Bilder hinweg und weist ihnen eine lokale Track-ID zu. Diese Kennung dient ausschließlich dazu, die Kontinuität innerhalb der Videosequenz aufrechtzuerhalten. Sie erfordert weder Gesichtserkennung noch die Identifizierung einer Person.
Ein Tracker kann die nächste Objektposition anhand vorangegangener Bewegungen schätzen. Ein verbreiteter Ansatz verwendet einen Zustandsfilter wie einen Kalman-Filter. Die vorhergesagte Position kann die Abdeckung durch Weichzeichnung oder Verpixelung aufrechterhalten, wenn ein Detektor ein Objekt für eine begrenzte Anzahl von Bildern nicht erkennt. Das System muss dennoch festlegen, wann ein vorhergesagter Track endet. Bleibt eine Vorhersage zu lange aktiv, kann sie einen Bereich weichzeichnen, nachdem das Objekt ihn bereits verlassen hat.
Verarbeitungskomponente | Funktion bei der Anonymisierung | Risiko für die zeitliche Konsistenz
|
|---|---|---|
Gesichtsdetektion | Findet Gesichter in einzelnen Bildern. | Übersehene Detektionen können zu Bildern ohne Weichzeichnung führen. |
Kennzeichendetektion | Findet sichtbare Kfz-Kennzeichen. | Bewegungsunschärfe und schräge Blickwinkel können die Detektion unterbrechen. |
Objektverfolgung | Verknüpft Detektionen über die Zeit. | Falsche Zuordnungen können eine Maske auf ein anderes Objekt verschieben. |
Maskenfortpflanzung | Nutzt Track-Informationen, um die Maskierung zwischen Detektionen aufrechtzuerhalten. | Eine übermäßige Fortpflanzung kann unnötige Weichzeichnungen verursachen. |
Ausgabekodierung | Speichert die verarbeiteten Bilder als Video. | Kompression kann die sichtbare Begrenzung einer Maske beeinflussen. |
Wichtige Parameter und Kennzahlen für zeitliche Konsistenz
Bei der Bewertung sollten sowohl die räumliche Genauigkeit innerhalb eines Bildes als auch die Kontinuität über mehrere Bilder hinweg gemessen werden. Die Intersection over Union (IoU) wird häufig verwendet, um eine vorhergesagte Begrenzungsbox oder Maske mit Referenzdaten zu vergleichen. Für zwei Bereiche A und B wird die IoU wie folgt berechnet:
IoU = Fläche(A ∩ B) / Fläche(A ∪ B)
Für die Videoanonymisierung reicht die IoU allein nicht aus, da sie nicht zeigt, ob eine Maske während der gesamten sichtbaren Dauer eines Objekts vorhanden war. Eine Qualitätsbewertung sollte die folgenden Kennzahlen umfassen.
- Recall auf Bildebene: der Anteil der Referenzgesichter oder Referenzkennzeichen, die in einem Bild eine Datenschutzmaske erhalten.
- Recall auf Track-Ebene: der Anteil der Objekt-Tracks, die während ihrer gesamten sichtbaren Dauer maskiert bleiben.
- Maskenkontinuitätsrate: der Anteil aufeinanderfolgender Bilder, in denen ein aktiver Objekt-Track weiterhin abgedeckt bleibt.
- Track-Fragmentierung: die Anzahl separater Track-Segmente, die einem tatsächlich vorhandenen Objekt zugewiesen werden.
- Identitätswechsel: Fehler in der Objektverfolgung, bei denen ein Track fälschlicherweise von einem Objekt einem anderen zugeordnet wird.
- Rate falscher Maskierungen: die Häufigkeit, mit der Weichzeichnung oder Verpixelung angewendet wird, obwohl kein Gesicht oder Kfz-Kennzeichen vorhanden ist.
Der Multiple Object Tracking Benchmark führte standardisierte Bewertungskonzepte für die Objektverfolgung ein, darunter falsch positive und falsch negative Ergebnisse, Identitätswechsel und Track-Fragmentierung. Diese Kennzahlen sind relevant, weil Fehler bei der Datenschutzmaskierung nicht nur durch die Objektdetektion, sondern auch durch die Qualität der Objektverfolgung entstehen können.
Ursachen und Auswirkungen von Maskenflackern
Maskenflackern tritt auf, wenn sich die Abdeckung durch Weichzeichnung oder Verpixelung zwischen einzelnen Bildern abrupt verändert. Es kann sich als Gesicht zeigen, das nur zeitweise weichgezeichnet ist, als Kfz-Kennzeichen mit in einigen Bildern sichtbaren Kanten oder als Maske, die zwischen nahe beieinanderstehenden Personen springt. Besonders auffällig ist dieser Effekt bei schnellen Kamerabewegungen oder wenn sich mehrere Gesichter überlappen.
Häufige Ursachen sind Detektionen mit geringer Sicherheit, ein Detektor, der nur für ausgewählte Bilder ausgeführt wird, instabile Koordinaten von Begrenzungsboxen, fehlerhafte Zuordnungen nahe beieinanderliegender Objekte und abrupte Szenenübergänge. Auch die Videokompression kann die Begrenzung einer Maske instabil erscheinen lassen, insbesondere wenn der weichgezeichnete Bereich klein ist oder den Objektkanten sehr genau folgt.
Eine zeitliche Glättung kann sichtbares Flackern reduzieren, ist jedoch für sich genommen keine Datenschutzmaßnahme. Ist eine Maske zu klein, kann die Glättung einen unzureichend abgedeckten Bereich über mehrere Bilder hinweg beibehalten. Ist sie zu groß, kann sie Informationen verdecken, die für die Anonymisierung nicht erforderlich sind. Eine wirksame Verarbeitung muss Kontinuität, Abdeckung und falsche Maskierungen ausbalancieren.
Praktische Anwendung in Gallio PRO
Beim Anonymisieren aufgezeichneter Aufnahmen sollte die zeitliche Konsistenz im Rahmen der Qualitätssicherung überprüft werden. Dabei sollten insbesondere das Erscheinen und Verlassen von Objekten, schnelle Bewegungen, teilweise Verdeckungen, Kameraschwenks, Zooms und Szenenwechsel geprüft werden. An diesen Punkten wird die Verfolgung eines Gesichts oder Kfz-Kennzeichens häufig unterbrochen.
Gallio PRO erkennt Gesichter und Kfz-Kennzeichen in unterstützten Bild- und Videodateien automatisch und macht sie durch Weichzeichnung oder Verpixelung unkenntlich. Gallio PRO führt keine Anonymisierung in Echtzeit und keine Anonymisierung von Live-Videostreams durch. Deckt die automatische Verarbeitung ein Gesicht, ein Kfz-Kennzeichen oder ein anderes visuelles Element nicht ausreichend ab, kann der integrierte Editor für die manuelle Maskierung verwendet werden. Unternehmenslogos, Tätowierungen, Namensschilder, Dokumente und Monitorinhalte werden nicht automatisch erkannt, können jedoch manuell unkenntlich gemacht werden.
Standards und Referenzen
Die zeitliche Konsistenz ist nicht durch einen einzelnen speziellen Anonymisierungsstandard definiert. Sie wird anhand von Methoden aus der Videokodierung, Objektdetektion und Multi-Object-Tracking-Forschung bewertet. Die folgenden Quellen liefern relevante technische Grundlagen.
- ISO/IEC 23008-2:2020, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High Efficiency Video Coding, Internationale Organisation für Normung (ISO) und Internationale Elektrotechnische Kommission (IEC).
- MOTChallenge, ein Benchmark für Multi-Object-Tracking, der Kennzahlen und Datensätze zur Bewertung der Objektverfolgung dokumentiert.
- Milan et al. (2016), MOT16: A Benchmark for Multi-Object Tracking, European Conference on Computer Vision Workshops.
- Bewley et al. (2016), Simple Online and Realtime Tracking, beschreibt einen detektionsbasierten Ansatz zur Objektverfolgung mit Bewegungsschätzung und Zuordnung.
- NIST Artificial Intelligence Risk Management Framework (AI RMF 1.0), National Institute of Standards and Technology, 2023.