Maskeninterpolation - Definition
Maskeninterpolation bezeichnet das Erzeugen von Zwischenstufen für Datenschutzmasken zwischen manuell definierten Keyframes in einer Bildsequenz oder einem Video. Eine Datenschutzmaske ist eine Form, die Pixel markiert, welche weichgezeichnet, verpixelt, überdeckt oder auf andere Weise unkenntlich gemacht werden sollen. Bei der Videoanonymisierung kann ein Editor Masken in ausgewählten Frames auf ein Gesicht, ein Kfz-Kennzeichen, Namensschild, Dokument oder einen Bildschirm legen. Die Software schätzt anschließend Position, Größe, Form oder Drehung der Maske für die Frames zwischen diesen Keyframes.
Die Maskeninterpolation verringert den manuellen Bearbeitungsaufwand pro Frame, wenn sich ein Objekt vorhersehbar bewegt. Sie ist nicht mit Bildinterpolation, Zwischenbildberechnung, Objektdetektion oder dem automatischen Erkennen von Gesichtern gleichzusetzen. Das Ergebnis sind Maskengeometrie und zeitliche Zuordnung - weder neue Videoinhalte noch eine Identitätsentscheidung. Die resultierenden Masken werden anschließend auf die Originalpixel angewendet, um die ausgewählten visuellen Informationen unkenntlich zu machen.
Um Gesichter und Kfz-Kennzeichen weichzuzeichnen, wird Interpolation häufig eingesetzt, nachdem die automatische Gesichtsdetektion oder Kennzeichendetektion ein Objekt übersehen hat, die Verfolgung verloren ging oder eine unvollständige Maske erstellt wurde. Sie kommt zudem bei visuellen Elementen zum Einsatz, die nicht automatisch erkannt werden, etwa bei Dokumenten, Namensschildern, Tätowierungen, Unternehmenslogos oder auf Monitoren angezeigten Inhalten. Diese Elemente müssen in Gallio PRO manuell maskiert werden.
So funktioniert Maskeninterpolation bei der Videoanonymisierung
Zunächst erstellt ein Editor Keyframes. Jeder Keyframe enthält die Definition einer Maske für einen bestimmten Videoframe oder Zeitstempel. Die Definition kann ein Rechteck, eine Ellipse, ein Polygon oder eine andere unterstützte Form sowie deren Koordinaten und Einstellungen für die Weichzeichnung umfassen. Die Interpolationsmethode berechnet Maskenwerte für die Frames zwischen zwei Keyframes.
Für einen Maskenparameter p, etwa horizontale Position, vertikale Position, Breite, Höhe oder Drehung, lässt sich eine einfache lineare Interpolation wie folgt ausdrücken:
p(t) = p0 + ((t - t0) / (t1 - t0)) × (p1 - p0)
Dabei sind t0 und t1 die Zeitpunkte der beiden Keyframes. Bei der linearen Interpolation wird angenommen, dass sich der Parameter zwischen den Keyframes mit konstanter Geschwindigkeit ändert. Das kann ausreichen, wenn sich eine Person oder ein Fahrzeug gleichmäßig durch das Bild bewegt. Bei abrupten oder gekrümmten Bewegungen, Verdeckungen oder Kamerabewegungen kann diese Methode jedoch versagen.
Interpolationsansatz | Maskenverhalten | Typischer Einsatz | Wesentliche Einschränkung
|
|---|---|---|---|
Linear | Bewegt sich oder ändert ihre Größe gleichmäßig zwischen Keyframes | Stabile Kamera und vorhersehbare Bewegung | Berücksichtigt weder Beschleunigung noch gekrümmte Bewegungsbahnen |
Bezier oder Spline | Verwendet einen gekrümmten Übergang zwischen Keyframes | Gleichmäßigere, manuell gesteuerte Bewegung | Kann bei fehlerhafter Konfiguration über die Objektgrenze hinausragen |
Optischer Fluss unterstützt | Verwendet geschätzte Pixelbewegungen, um eine Maske fortzuführen | Detaillierte Bewegungen mit sichtbarer Textur | Kann bei Verdeckungen, Unschärfe, Reflexionen oder Szenenwechseln versagen |
Objektverfolgung unterstützt | Aktualisiert eine Maske anhand der Position eines verfolgten Objekts | Gesichter oder Kfz-Kennzeichen über längere Sequenzen hinweg | Erfordert eine Prüfung, wenn die Zuverlässigkeit der Verfolgung sinkt |
Wichtige Parameter der Maskeninterpolation
Die Qualität der Interpolation sollte als Maßnahme zum Schutz der Privatsphäre bewertet werden, nicht nur als Bearbeitungserleichterung. Eine optisch gleichmäßige Maske, die Teile eines Gesichts oder Kfz-Kennzeichens sichtbar lässt, ist nicht ausreichend. Die prüfende Person sollte den gesamten Bereich zwischen den Keyframes kontrollieren, einschließlich der Frames unmittelbar vor und nach jedem Keyframe.
- Abstand zwischen Keyframes: Die Anzahl der Frames zwischen manuell geprüften Masken. Kürzere Abstände bieten in der Regel mehr Kontrolle, wenn sich Bewegungen schnell verändern.
- Maskenrand: Der zusätzliche Bereich um das erkannte oder manuell ausgewählte Objekt. Ein zu kleiner Rand kann Pixel an der Objektgrenze sichtbar lassen. Ein zu großer Rand kann unbeteiligte Personen, Fahrzeuge oder Bildinhalte verdecken.
- Größenänderung: Die Änderung von Maskenbreite und -höhe, wenn sich ein Gesicht oder Kfz-Kennzeichen der Kamera nähert oder sich von ihr entfernt.
- Drehung und Perspektive: Ein rechteckiges Kfz-Kennzeichen kann trapezförmig erscheinen oder gegenüber der Kamera gedreht sein. Ein festes horizontales Rechteck deckt es möglicherweise nicht ausreichend ab.
- Verdeckungsstatus: Die Maske muss möglicherweise aktiv bleiben, wenn ein Objekt teilweise durch eine andere Person, ein Fahrzeug oder einen Gegenstand verdeckt wird.
- Erkennung von Szenenwechseln: Masken sollten nicht über einen Schnitt zu einer anderen Einstellung hinweg interpoliert werden. Eine neue Einstellung erfordert eine separate Prüfung und in der Regel neue Keyframes.
Praktischer Workflow für die manuelle Maskeninterpolation
Ein kontrollierter Workflow verbindet Interpolation mit visueller Qualitätssicherung. Ziel ist es, sich nicht auf geschätzte Maskenpositionen zu verlassen, wenn sich das Ausgangsvideo auf eine Weise verändert, die das Interpolationsmodell nicht abbilden kann.
- Prüfen Sie das Video bei normaler Wiedergabegeschwindigkeit und identifizieren Sie Gesichter, Kfz-Kennzeichen sowie manuell ausgewählte visuelle Informationen, die maskiert werden müssen.
- Erstellen Sie einen Keyframe für den ersten Frame, in dem das Objekt sichtbar wird.
- Erstellen Sie vor einer Änderung von Richtung, Größe, Pose, Verdeckung, Kamerabewegung oder vor einem Szenenwechsel einen weiteren Keyframe.
- Wenden Sie die Interpolation nur innerhalb eines visuell durchgängigen Abschnitts an.
- Prüfen Sie die Zwischenframes bei Wiedergabegeschwindigkeit und bei schnellen Bewegungen frameweise.
- Korrigieren Sie Position, Größe oder Form der Maske durch zusätzliche Keyframes, statt sichtbare Pixel zu akzeptieren.
- Prüfen Sie das exportierte Video, da Rendering, Zuschnitt, Skalierung und Transkodierung die sichtbare Maskengrenze verändern können.
Einschränkungen und häufige Fehlerquellen
Maskeninterpolation kann die Anonymisierung nicht allein gewährleisten. Sie schätzt einen Übergang zwischen bekannten Zuständen. Bewegt sich das Objekt unvorhersehbar, wird es durch Bewegung unscharf, ändert es seine Ausrichtung oder verschwindet es hinter einem anderen Objekt, kann die geschätzte Maske abdriften. Dadurch können identifizierbare Pixel für nur wenige Frames sichtbar bleiben - was dennoch für Betrachtung, Extraktion oder Re-Identifizierung ausreichen kann.
Der optische Fluss ist eine Methode zur Schätzung von Bewegungen zwischen Frames. Die grundlegende Formulierung von Horn und Schunck beschreibt den optischen Fluss als Schätzproblem, das auf Helligkeitsänderungen und Annahmen zur räumlichen Glätte beruht. Diese Annahmen werden durch wechselnde Beleuchtung, Reflexionen, Kompressionsartefakte und Bewegungsunschärfe geschwächt. Siehe Horn und Schunck, „Determining Optical Flow“ (1981).
Für die Bearbeitung zum Schutz der Privatsphäre sind ein konservativer Maskenrand und zusätzliche Keyframes in der Regel zuverlässiger, als bei schwierigen Bewegungen eine eng anliegende Maskengrenze beibehalten zu wollen. Das ist besonders wichtig bei kleinen, weit entfernten, schräg aufgenommenen oder teilweise verdeckten Kfz-Kennzeichen.
Anwendungsfälle für Maskeninterpolation
Maskeninterpolation ist sinnvoll, wenn Videos für die interne Prüfung, Veröffentlichung, Schulung, Ereignisanalyse, Forschung oder die Weitergabe an Dritte vorbereitet werden müssen. Sie unterstützt sowohl automatisch erkannte Objekte als auch Objekte, die ein Editor manuell auswählt.
- Erweiterung einer Gesichtsweichzeichnung über Frames hinweg, in denen die Gesichtsdetektion ein Gesicht vorübergehend nicht mehr erfasst.
- Beibehaltung der Weichzeichnung eines Kfz-Kennzeichens, während sich ein Fahrzeug durch eine Szene mit fester Kamera bewegt.
- Maskierung eines Dokuments, Monitors, Logos, einer Tätowierung oder eines Namensschilds, das über mehrere Frames sichtbar ist.
- Korrektur einer Maske, nachdem eine Person den Kopf dreht, in einen Schatten tritt oder teilweise durch eine andere Person verdeckt wird.
- Erstellung einer konsistenten Maskierung über eine Sequenz hinweg, bevor ein anonymisiertes Video exportiert wird.
Standards und Referenzen
Maskeninterpolation ist eine Technik der Bearbeitung und des maschinellen Sehens, keine eigenständig standardisierte rechtliche oder Anonymisierungsmethode. Ihre Umsetzung sollte dennoch innerhalb eines wiederholbaren Prozesses zur datenschutzgerechten Verarbeitung dokumentiert werden. Das National Institute of Standards and Technology Artificial Intelligence Risk Management Framework 1.0 (NIST AI RMF 1.0, 2023) nennt Validierung, Monitoring und dokumentiertes Risikomanagement als relevante Kontrollmaßnahmen für KI-gestützte Systeme.
Für Videokodierung und Frame-Timing veröffentlichen die International Organization for Standardization und die International Electrotechnical Commission die ISO/IEC-14496-Familie der Moving-Picture-Experts-Group-Standards. Videoeditoren sollten das Frame-Timing des Quellmaterials beibehalten und die gerenderte Ausgabe prüfen, da Bildratenkonvertierung oder Transkodierung die Beziehung zwischen Keyframes und sichtbaren Frames verändern können.