Definition von Precision und Recall
Precision und Recall sind Leistungskennzahlen zur Bewertung eines Detektors. Bei der Bild- und Videoanonymisierung zeigen sie, wie zuverlässig ein System Gesichter oder Kfz-Kennzeichen erkennt, die weichgezeichnet oder verpixelt werden müssen. Berechnet werden sie durch den Vergleich der Detektionsergebnisse mit der Ground Truth, also einem geprüften Referenzdatensatz, der die relevanten Gesichter oder Kfz-Kennzeichen in jedem Bild oder Videoframe kennzeichnet.
Precision misst den Anteil der gemeldeten Detektionen, die korrekt sind. Recall misst den Anteil aller relevanten Objekte, die der Detektor erfolgreich findet. Für den Datenschutz ist Recall häufig die sicherheitskritischere Kennzahl, da ein falsch negatives Ergebnis dazu führen kann, dass ein Gesicht oder Kfz-Kennzeichen in freigegebenem Material sichtbar bleibt.
Kennzahl | Formel | Bedeutung für die Anonymisierung
|
|---|---|---|
Precision | TP / (TP + FP) | Wie häufig eine gemeldete Gesichts- oder Kfz-Kennzeichendetektion korrekt ist. |
Recall | TP / (TP + FN) | Wie viele im Material vorhandene Gesichter oder Kfz-Kennzeichen erkannt werden. |
F1-Score | 2 × (Precision × Recall) / (Precision + Recall) | Ein harmonisches Mittel, das Precision und Recall in einem Wert zusammenfasst. |
In diesen Formeln steht TP für „True Positive“, FP für „False Positive“ und FN für „False Negative“. Ein True Positive ist ein korrekt erkanntes Gesicht oder Kfz-Kennzeichen. Ein False Positive ist eine fehlerhafte Detektion, etwa wenn ein Detektor ein Objekt, das kein Gesicht ist, als Gesicht markiert. Ein False Negative ist ein übersehenes Gesicht oder Kfz-Kennzeichen, das hätte erkannt und weichgezeichnet oder verpixelt werden müssen.
Warum Recall beim Unkenntlichmachen von Gesichtern und Kfz-Kennzeichen wichtig ist
Gesichtsdetektion und Kfz-Kennzeichendetektion werden vor der automatischen Abdeckung sowie Weichzeichnung oder Verpixelung eingesetzt. Ein Detektor mit unzureichendem Recall kann eine Person am Bildrand, ein kleines oder teilweise verdecktes Gesicht oder ein Kfz-Kennzeichen übersehen, das durch Spiegelungen, Bewegungsunschärfe, Dunkelheit, Kamerawinkel oder Komprimierungsartefakte beeinträchtigt ist. Wenn sich der Verarbeitungsprozess ausschließlich auf automatische Ergebnisse stützt, können solche übersehenen Objekte identifizierbar bleiben.
Organisationen sollten Recall daher anhand von Material bewerten, das ihrem tatsächlichen Bild- und Videomaterial ähnelt. Typische relevante Bedingungen sind:
- kleine, weit entfernte, seitlich aufgenommene, teilweise verdeckte oder stark komprimierte Gesichter;
- Kfz-Kennzeichen, die aus schrägen Winkeln oder bei Reflexionen, Schatten, Regen und schlechten Lichtverhältnissen aufgenommen wurden;
- schnelle Kamerabewegungen, ausgelassene Frames, Szenenwechsel und verdeckte Objekte;
- stark frequentierte Szenen mit sich überlappenden Personen, Fahrzeugen oder wiederkehrenden Objekten;
- unterschiedliche Kameramodelle, Auflösungen, Bildraten, geografische Regionen und Kennzeichenformate.
Ein hoher aggregierter Recall-Wert belegt nicht, dass alle operativen Situationen sicher sind. So kann ein Detektor bei gut ausgeleuchteten, frontal aufgenommenen Gesichtern einen hohen Recall erreichen, bei weit entfernten Gesichtern in Nachtaufnahmen jedoch weniger zuverlässig arbeiten. Die Bewertung sollte Ergebnisse daher nach Szenarien ausweisen und nicht nur als Gesamtwert.
Der Zielkonflikt zwischen Precision und Recall
Viele Detektionsmodelle vergeben für jedes potenzielle Objekt einen Konfidenzwert. Ein Verarbeitungsprozess akzeptiert ein potenzielles Objekt nur dann als Detektion, wenn sein Wert einen festgelegten Schwellenwert erreicht. Eine Senkung des Schwellenwerts erhöht in der Regel den Recall, weil mehr mögliche Gesichter oder Kennzeichen akzeptiert werden. Sie kann jedoch auch die Precision verringern, weil mehr fehlerhafte Objekte akzeptiert werden.
Dieser Zielkonflikt hat unterschiedliche operative Auswirkungen:
- Niedriger Recall: Es werden weniger Objekte gefunden. Dadurch steigt das Risiko, dass ein Gesicht oder Kfz-Kennzeichen nicht weichgezeichnet oder verpixelt bleibt.
- Niedrige Precision: Es können mehr nicht schutzbedürftige Objekte weichgezeichnet oder verpixelt werden. Das kann den Nutzen oder die visuelle Qualität des Ergebnisses beeinträchtigen.
- Hoher Recall mit manueller Prüfung: Zusätzliche Detektionen können geprüft und korrigiert werden, bevor das Material freigegeben wird.
Es gibt keinen universellen Schwellenwert, der für jede Art von Bild- oder Videomaterial geeignet ist. Ein Schwellenwert sollte anhand eines dokumentierten Validierungsdatensatzes, der Freigabekriterien der Organisation und des verfügbaren Qualitätssicherungsprozesses ausgewählt werden. Nach Änderungen der Kameraquelle, Videokodierung, Szenenart oder Modellversion kann derselbe Schwellenwert andere Precision- und Recall-Werte liefern.
Wie Precision und Recall gemessen werden
Die Messung erfordert gelabelte Testdaten, die nicht zum Trainieren oder Abstimmen des Detektors verwendet wurden. Für jedes Bild oder jeden Frame kennzeichnen Prüferinnen und Prüfer die Gesichter oder Kfz-Kennzeichen, die erkannt werden sollten. Das Bewertungssystem ordnet die Detektionen diesen Referenzobjekten anschließend anhand einer definierten Überlappungsregel zu.
Für die Objektdetektion ist Intersection over Union (IoU) ein gängiges Maß für die Überlappung. IoU vergleicht die Überlappung zwischen der vorhergesagten Bounding Box und der Ground-Truth-Bounding-Box mit ihrer Gesamtfläche:
IoU = Überlappungsfläche / Vereinigungsfläche
Eine Detektion wird nur dann als True Positive gezählt, wenn sie den gewählten IoU-Schwellenwert für die Zuordnung erfüllt und dem richtigen Referenzobjekt zugeordnet ist. Das Evaluierungsprotokoll für Objektdetektion von Common Objects in Context (COCO) gibt die durchschnittliche Precision über IoU-Schwellenwerte von 0,50 bis 0,95 in Schritten von 0,05 an. Dieser Ansatz verdeutlicht, warum ein einzelner Precision-Wert unvollständig ist: Ein Detektor kann ein Objekt grundsätzlich erkennen, die Bounding Box aber zu ungenau platzieren, um es zuverlässig abzudecken oder weichzuzeichnen bzw. zu verpixeln.
Besonderheiten bei der Bewertung von Videos
Die Videoanonymisierung bringt Risiken mit sich, die bei Tests mit Einzelbildern nicht sichtbar sind. Ein Gesicht kann in einem Frame erkannt, in angrenzenden Frames jedoch übersehen werden. Bereits eine kurze Lücke kann identifizierende Informationen offenlegen, insbesondere wenn sich eine Person schnell bewegt oder nur kurz zu sehen ist.
Die Bewertung sollte deshalb sowohl Analysen auf Frame- als auch auf Sequenzebene umfassen. Der Recall auf Frame-Ebene misst, wie viele relevante Objekte in einzelnen Frames gefunden werden. Die Prüfung auf Sequenzebene kontrolliert, ob ein Gesicht oder Kfz-Kennzeichen durchgehend abgedeckt bleibt, solange es sichtbar ist. Sinnvolle Maßnahmen zur Qualitätskontrolle sind die Anzahl übersehener Objekte, aufeinanderfolgende übersehene Frames und die Dauer einer nicht abgedeckten Sichtbarkeit. Diese Parameter sollten vor dem Test definiert werden, damit Ergebnisse reproduzierbar sind und über Modellversionen hinweg verglichen werden können.
Anwendung in Workflows mit Gallio PRO
Gallio PRO nutzt Gesichtsdetektion und Kfz-Kennzeichendetektion, um die automatische Weichzeichnung oder Verpixelung in hochgeladenen Bild- und Videodateien zu unterstützen. Gallio PRO führt keine Echtzeitanonymisierung und keine Anonymisierung von Live-Videostreams durch. Precision und Recall sind relevant, wenn geprüft wird, ob automatische Detektionsergebnisse vor der Weitergabe, Veröffentlichung oder Aufbewahrung des Materials für einen anderen zulässigen Zweck zusätzlich manuell kontrolliert werden müssen.
Die automatische Detektion in Gallio PRO umfasst ausschließlich Gesichter und Kfz-Kennzeichen. Unternehmenslogos, Tätowierungen, Namensschilder, Dokumente oder auf Monitoren dargestellte Inhalte werden nicht automatisch erkannt. Diese Elemente können mit dem integrierten Editor manuell weichgezeichnet oder verpixelt werden. Die manuelle Prüfung dient zudem als Kontrolle für False Negatives und False Positives bei automatisch erkannten Gesichtern und Kfz-Kennzeichen.
Standards und Quellen
Precision und Recall sind etablierte Kennzahlen aus dem Information Retrieval und dem maschinellen Lernen. Die folgenden Primär- und Fachquellen erläutern ihre Anwendung bei der Bewertung von Klassifikation und Objektdetektion.
- Davis, J. und Goadrich, M. (2006), „The Relationship Between Precision-Recall and ROC Curves“, Proceedings of the 23rd International Conference on Machine Learning.
- Powers, D. M. W. (2011), „Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness and Correlation“, Pattern Recognition Letters, 32(15).
- COCO Consortium, Evaluierungsprotokoll für Objektdetektion.
- National Institute of Standards and Technology (NIST), Face Recognition Vendor Test (FRVT). NIST veröffentlicht reproduzierbare Testmethoden und Berichte zur Bewertung gesichtsbezogener Technologien.