Qualitätssicherung bei der Anonymisierung - Definition
Die Qualitätssicherung bei der Anonymisierung ist die dokumentierte Prüfung von Bildern oder Videoaufnahmen nach der Anonymisierung. Sie soll feststellen, ob schutzbedürftige Gesichter und Kfz-Kennzeichen im Endergebnis unkenntlich gemacht wurden und ob die angewendeten Maskierungen über die gesamte Aufnahme hinweg wirksam bleiben.
Bei der Bild- und Videoanonymisierung kombiniert die Qualitätssicherung üblicherweise automatisierte Prüfungen, stichprobenartige manuelle Kontrollen, eine Checkliste und eine Dokumentation des Ergebnisses. Im Mittelpunkt stehen zwei Fehlerarten: ein falsch negatives Ergebnis, bei dem ein Gesicht oder Kfz-Kennzeichen ohne wirksame Maskierung sichtbar bleibt, und ein falsch positives Ergebnis, bei dem Inhalte maskiert werden, die keine Anonymisierung erforderten. Der Prozess muss die gerenderte Ausgabedatei bewerten, nicht nur die während der Verarbeitung erzeugten Detektionsergebnisse.
Die Qualitätssicherung der Anonymisierung ist eine technische Kontrollmaßnahme. Sie kann nachweisen, dass ein festgelegtes Prüfverfahren durchgeführt wurde. Sie kann jedoch nicht allein garantieren, dass unter allen denkbaren Betrachtungsbedingungen oder mit künftigen technischen Verfahren keine Person identifiziert werden kann.
Die Rolle der Qualitätssicherung bei der Bild- und Videoanonymisierung
Gesichtsdetektion und Kfz-Kennzeichendetektion können viele relevante Objekte automatisch erkennen. Die Detektionsleistung kann jedoch je nach Auflösung, Bewegungsunschärfe, Verdeckung, Kamerawinkel, Beleuchtung, Komprimierung und Objektgröße variieren. Die Qualitätssicherung reduziert das Restrisiko, dass ein automatisierter Prozess ein Objekt übersieht oder eine unvollständige Maskierung anwendet.
Bei Videos sollten Prüfer sowohl einzelne Frames als auch die zeitliche Kontinuität kontrollieren. Ein Gesicht kann in einem Frame erkannt werden, beim Betreten der Szene, bei einer seitlichen Drehung, teilweiser Verdeckung oder schnellen Bewegung jedoch übersehen werden. Ein Kfz-Kennzeichen kann durch Reflexionen, Zoom oder Distanzänderungen nur kurz lesbar werden.
- Prüfen Sie den ersten und letzten Frame jeder Szene oder Einstellung.
- Prüfen Sie Frames bei Szenenwechseln, Kamerabewegungen, Zoomänderungen und Änderungen der Belichtung.
- Prüfen Sie Sequenzen mit Menschenmengen, Fahrzeugen, Reflexionen oder teilweisen Verdeckungen.
- Kontrollieren Sie die exportierte Datei in der vorgesehenen Auflösung und Wiedergabegeschwindigkeit.
- Stellen Sie sicher, dass Maskierungen das schutzbedürftige Objekt während des gesamten Zeitraums abdecken, in dem es sichtbar ist.
Stichproben von Frames für die Qualitätssicherung bei der Anonymisierung
Eine Frame-Stichprobe wird eingesetzt, wenn die Prüfung jedes einzelnen Frames operativ nicht verhältnismäßig ist. Ein Stichprobenplan sollte risikobasiert sein und vor Beginn der Prüfung dokumentiert werden. Er sollte Grundgesamtheit, Stichprobenverfahren, Prüfanweisungen, Annahmekriterien und Eskalationsverfahren festlegen.
Einfache Zufallsstichproben können helfen, Fehlerraten in einem Videobestand zu schätzen. Video-Frames sind jedoch häufig miteinander korreliert. Ein übersehenes Gesicht kann über mehrere aufeinanderfolgende Frames hinweg sichtbar bleiben, sodass eine Zufallsstichprobe eine ganze Fehlersequenz übersehen kann. Deshalb ist eine geschichtete Stichprobe sinnvoll. Sie unterteilt das Material in aussagekräftige Gruppen, etwa nach Kamerastandorten, Lichtverhältnissen, Szenentypen, Quellgeräten oder Verarbeitungsgruppen.
Stichprobenelement | Praktische Anwendung | Zweck der Qualitätssicherung
|
|---|---|---|
Zufällige Frames | Wählen Sie Frames anhand eines dokumentierten Zufallsverfahrens aus. | Erkennt breit verteilte Fehler. |
Frames in Intervallen | Prüfen Sie Frames in festgelegten Zeitintervallen. | Überprüft die Kontinuität in langen Sequenzen. |
Ereignisbasierte Frames | Prüfen Sie Schnitte, das Eintreten in den Bildausschnitt, schnelle Bewegungen und Zoomvorgänge. | Testet bekannte Übergänge mit hohem Risiko. |
Vollständige Sequenzprüfung | Prüfen Sie jeden Frame in festgelegten Clips mit hohem Risiko. | Reduziert das Risiko bei hohen Folgen einer Offenlegung. |
Ein grundlegendes Modell zur Detektionswahrscheinlichkeit kann die Planung unterstützen. Wenn p die Wahrscheinlichkeit ist, dass ein ausgewählter Frame ein nicht erkanntes Objekt enthält, und n die Anzahl unabhängig ausgewählter Frames darstellt, beträgt die Wahrscheinlichkeit, mindestens einen solchen Fehler zu finden:
P(Detektion) = 1 - (1 - p)n
In der Praxis ist die Annahme unabhängiger Frames bei Videos oft nur eingeschränkt erfüllt. Organisationen sollten diese Berechnung daher mit einer gezielten Prüfung von Szenen mit hohem Risiko kombinieren, statt sich allein auf Zufallsstichproben zu verlassen. ISO 2859-1:1999, veröffentlicht von der International Organization for Standardization (ISO), enthält allgemeine Grundsätze für die Stichprobenprüfung nach Merkmalen.
Wichtige Kennzahlen und Annahmekriterien
Kennzahlen machen Prüfergebnisse über verschiedene Verarbeitungsgruppen, Prüfer und Verarbeitungseinstellungen hinweg vergleichbar. Sie erfordern eine klar definierte Referenzgrundlage: eine von Prüfern bestätigte Aufzeichnung der Gesichter und Kfz-Kennzeichen, die in der bewerteten Stichprobe hätten maskiert werden müssen.
Kennzahl | Formel | Interpretation
|
|---|---|---|
Recall | TP / (TP + FN) | Anteil der maskierungspflichtigen Objekte, die eine wirksame Maskierung erhalten haben. |
Precision | TP / (TP + FP) | Anteil der angewendeten Maskierungen, die ein Zielobjekt korrekt abgedeckt haben. |
Anzahl falsch negativer Ergebnisse | FN | Anzahl sichtbarer Gesichter oder Kfz-Kennzeichen, die in der geprüften Stichprobe übersehen wurden. |
Beständigkeit der Maskierung | maskierte Frames / erforderliche Frames | Kontinuität der Maskierung, solange ein Objekt sichtbar bleibt. |
TP steht für richtig positiv, FP für falsch positiv und FN für falsch negativ. Die Organisation sollte Annahmeschwellen entsprechend der Art des Materials, der beabsichtigten Weitergabe und den Folgen einer übersehenen Anonymisierung festlegen. Eine nicht bestandene Stichprobe sollte festgelegte Korrekturmaßnahmen auslösen, etwa die erneute Verarbeitung der betroffenen Datei, die Erweiterung der Stichprobe oder die vollständige Prüfung der betreffenden Verarbeitungsgruppe.
Checkliste und Dokumentation des Prüfergebnisses
Eine Checkliste stellt sicher, dass Prüfer dieselben Kriterien anwenden. Sie sollte zwischen einer wirksamen Maskierung und einer vorhandenen, aber unzureichenden Maskierung unterscheiden, beispielsweise wenn nach dem Export ein Teil eines Gesichts oder Kfz-Kennzeichens sichtbar bleibt.
- Dateikennung, Quellsystem, Verarbeitungsdatum und Ausgabeversion.
- Dauer der Aufnahme, Bildrate, Auflösung, Codec und Exporteinstellungen.
- Stichprobenverfahren, ausgewählter Frame- oder Timecode-Bereich sowie Prüfdatum.
- Bestätigte Gesichter und Kfz-Kennzeichen, die maskiert werden müssen.
- Übersehene, teilweise, instabile oder falsch platzierte Maskierungen.
- Durchgeführte manuelle Korrekturen sowie Identität oder Rolle des Prüfers.
- Annahmeentscheidung, Korrekturmaßnahme und Freigabenachweis.
In Arbeitsabläufen mit Gallio PRO sollte die Qualitätssicherung die endgültige anonymisierte Ausgabe nach der Weichzeichnung oder Verpixelung von Gesichtern und Kfz-Kennzeichen bestätigen. Gallio PRO erkennt automatisch ausschließlich Gesichter und Kfz-Kennzeichen. Inhalte wie Logos, Tätowierungen, Namensschilder, Dokumente oder Monitoranzeigen erfordern eine manuelle Prüfung und gegebenenfalls eine manuelle Maskierung im integrierten Editor.
Standards und Referenzen
Es gibt keinen einzelnen technischen Standard, der eine universelle Bestehensschwelle für die Qualitätssicherung visueller Anonymisierung festlegt. Organisationen sollten ihre eigene Schwelle dokumentieren und mit einem wiederholbaren Prüfplan verknüpfen. Zu den relevanten Quellen gehören:
- ISO 2859-1:1999, Stichprobenverfahren für die Prüfung nach Merkmalen, zu Konzepten der Annahmestichprobe.
- NIST AI RMF 1.0, National Institute of Standards and Technology, 2023, zur Dokumentation, Messung und Steuerung von Risiken durch Systeme der künstlichen Intelligenz.
- ISO/IEC 24029-1:2021, Künstliche Intelligenz - Bewertung der Robustheit neuronaler Netze - Teil 1: Überblick, zu Konzepten der Robustheitsbewertung.
- NIST AI Risk Management Framework Playbook, für operative Maßnahmen zur Messung und Steuerung von KI-Risiken.