Confidence Threshold – Definition
Der Confidence Threshold, also die Konfidenzschwelle der Erkennung, ist ein Parameter in Computer-Vision-Modellen, der das minimale Vertrauensniveau des Modells festlegt, das erforderlich ist, damit ein erkanntes Objekt als korrekte Detektion gilt. In der Praxis der Anonymisierung von Fotos und Videos geht es dabei vor allem um die Erkennung von Gesichtern und Kfz-Kennzeichen vor deren automatischer Unschärfe oder Verpixelung.
Ein Detektionsmodell liefert in der Regel für jedes Objekt zwei Arten von Informationen zurück: die Position des Objekts im Bild, meist in Form einer Bounding Box, sowie den Confidence Score, also einen numerischen Wert dafür, wie sicher das Modell ist, dass der betreffende Bereich tatsächlich ein Gesicht oder ein Kennzeichen enthält. Der Confidence Threshold definiert dabei die Entscheidungsgrenze. Ist das Modellergebnis gleich hoch oder höher als der Schwellenwert, wird das Objekt zur weiteren Verarbeitung übernommen. Liegt das Ergebnis darunter, wird die Detektion verworfen.
In Anonymisierungssystemen beeinflusst dieser Parameter direkt das Risiko zweier Fehlerklassen: False Positives, wenn ein Objekt unkenntlich gemacht wird, das kein Gesicht oder Kennzeichen ist, und False Negatives, wenn ein tatsächliches Gesicht oder Kennzeichen nicht erkannt und somit nicht anonymisiert wird. Aus Sicht des Datenschutzes sind False Negatives meist der kritischere Fehler, da sie zur Offenlegung personenbezogener Daten in visuellem Material führen.
Die Rolle der Konfidenzschwelle bei der Anonymisierung von Fotos und Videos
Im Kontext der Bild- und Videoanonymisierung ist die Konfidenzschwelle keine rein technische Einstellung. Sie ist ein Parameter mit Bedeutung für die datenschutzkonforme Ausgestaltung des Prozesses und für die operative Qualität der Verarbeitung. Je niedriger der Schwellenwert, desto mehr Objekte werden als Gesichter oder Kennzeichen markiert. Das erhöht in der Regel die Erkennungssensitivität, steigert jedoch zugleich die Zahl fehlerhafter Treffer.
Je höher der Schwellenwert, desto restriktiver arbeitet das System und akzeptiert nur Detektionen mit hoher Sicherheit. Das reduziert unnötige Unschärfen, kann aber dazu führen, dass schwer erkennbare Objekte übersehen werden, etwa kleine Gesichter, teilweise verdeckte Gesichter, Kennzeichen bei schlechten Lichtverhältnissen oder schräg aufgenommene Nummernschilder.
In der Praxis wird der Schwellenwert abhängig vom Ziel des Prozesses festgelegt:
- bei einer Anonymisierung mit Fokus auf die Minimierung des Risikos einer Datenoffenlegung wird in der Regel ein niedrigerer Threshold mit zusätzlicher Qualitätskontrolle gewählt,
- bei Bildmaterial mit hoher Bildqualität kann ein höherer Threshold verwendet werden, wenn die Validierung bestätigt, dass ein angemessener Recall erhalten bleibt,
- für verschiedene Objektklassen, etwa Gesichter und Kennzeichen, können getrennte Schwellenwerte eingesetzt werden.
Wie der Confidence Threshold technisch funktioniert
Moderne Systeme zur Erkennung von Gesichtern und Kfz-Kennzeichen nutzen in der Regel Deep-Learning-Modelle, meist konvolutionale neuronale Netze oder andere aktuelle Detektionsarchitekturen. Deep Learning ist hier ein typischer Ansatz beim Aufbau eines KI-Modells, weil das Modell anhand von Trainingsdaten visuelle Merkmale lernt, mit denen sich Gesichter und Kennzeichen unter unterschiedlichen Bedingungen erkennen lassen. Das fertige Modell wird anschließend im Prozess der automatischen Unkenntlichmachung eingesetzt.
Ein Confidence Score ist nicht immer als kalibrierte Wahrscheinlichkeit im statistischen Sinn zu verstehen. In vielen Architekturen handelt es sich um einen Wert nach Anwendung einer Sigmoid- oder Softmax-Funktion, dessen Interpretation jedoch von der Art des Trainings und der Validierung des Modells abhängt. Deshalb sollte der Threshold nicht allein intuitiv festgelegt werden. Er sollte aus Tests auf einem Datensatz abgeleitet werden, der für die realen Eingabedaten repräsentativ ist.
Eine typische Entscheidungsregel lautet:
Detektion akzeptiert, wenn score >= threshold
Nach diesem Schritt kommen oft zusätzliche Verfahren zum Einsatz, zum Beispiel Non-Maximum Suppression, mit denen überlappende Bounding Boxes für dasselbe Objekt entfernt werden. Das beeinflusst die endgültige Zahl der Erkennungen. Deshalb ist zu beachten, dass das Endergebnis nicht allein vom Threshold abhängt, sondern auch von den übrigen Parametern der Detektionspipeline.
Wichtige Parameter und Metriken im Zusammenhang mit dem Confidence Threshold
Die Beurteilung, ob ein Schwellenwert richtig eingestellt ist, erfordert eine Messung der Qualität. In der Objekterkennung werden Metriken verwendet, die in der Fachliteratur und in Benchmarks wie PASCAL VOC und COCO ausführlich beschrieben sind. Bei der Anonymisierung sind insbesondere Kennzahlen relevant, die zeigen, wie oft das System Objekte übersieht, die verborgen werden müssen.
Metrik | Praktische Bedeutung | Auswirkung einer Änderung des Thresholds
|
|---|---|---|
Precision | Welcher Anteil der akzeptierten Detektionen korrekt ist | Ein höherer Threshold erhöht in der Regel die Precision |
Recall | Welcher Anteil der tatsächlich vorhandenen Objekte erkannt wurde | Ein niedrigerer Threshold erhöht in der Regel den Recall |
F1-Score | Harmonisches Mittel aus Precision und Recall | Hilft dabei, einen Kompromiss zu finden |
False Discovery Rate | Ausmaß fehlerhafter Markierungen unter den akzeptierten Detektionen | Steigt bei einem zu niedrigen Threshold |
False Negative Rate | Ausmaß der übersehenen Gesichter oder Kennzeichen | Steigt bei einem zu hohen Threshold |
mAP bei IoU 0.5 oder 0.5:0.95 | Allgemeine Qualität des Detektors in Benchmarks | Dient der Modellbewertung, ersetzt aber nicht die Wahl des Thresholds |
Bei Datenschutzaufgaben hat insbesondere der Recall großes Gewicht. Ist der Recall für Gesichter oder Kennzeichen zu niedrig, bleiben Teile personenbezogener Daten sichtbar. Daher ist der optimale Threshold nicht immer derjenige, der Precision oder mAP maximiert.
Praxis der Schwellenwertwahl in Anonymisierungssystemen
Die Wahl des Schwellenwerts sollte auf einer Validierung mit Daten beruhen, die dem tatsächlich verarbeiteten Material ähneln. Relevant sind Auflösung, Kamerawinkel, Kompression, Tageszeit, Wetterbedingungen und der Grad der Verdeckung von Objekten. Ein Schwellenwert, der auf einem Labordatensatz gut funktioniert, kann bei Überwachungsaufnahmen, mobilen Kameras oder mit dem Smartphone aufgenommenen Fotos ungeeignet sein.
In der Praxis wird empfohlen:
- Gesichter und Kfz-Kennzeichen getrennt zu testen,
- Precision-Recall-Kurven für mehrere Threshold-Stufen zu bestimmen,
- den Schwellenwert anhand eines akzeptablen False-Negative-Niveaus auszuwählen,
- nach Änderungen am Modell, an der Kamera, am Codec oder am Nutzungsszenario eine regelmäßige Revalidierung durchzuführen,
- in Grenzfällen eine manuelle Kontrolle einzusetzen.
In der Software Gallio PRO betrifft die automatische Erkennung Gesichter und Kfz-Kennzeichen. Das System erkennt Logos, Tätowierungen, Namensschilder, Dokumente oder Inhalte auf Monitorbildschirmen nicht automatisch. Solche Elemente können im integrierten Editor manuell unkenntlich gemacht werden. Das bedeutet, dass selbst ein korrekt eingestellter Confidence Threshold die Prüfung des Materials auf andere visuelle Identifikatoren nicht überflüssig macht.
Einschränkungen und Compliance-Kontext
Die Konfidenzschwelle ist keine Garantie für eine vollständige Anonymisierung. Sie ist nur einer von mehreren Parametern des Detektionssystems. Das Ergebnis wird auch durch die Qualität des Modells, die Trainingsdaten, die Art der Annotation, die minimale Objektgröße, das Preprocessing sowie durch die Tracking-Parameter zwischen den Frames in Videomaterial beeinflusst.
Aus Sicht der DSGVO-Compliance ist ein risikobasierter Ansatz sowie die Auswahl technischer Maßnahmen erforderlich, die dem Zweck der Verarbeitung angemessen sind. Die Verordnung (EU) 2016/679 nennt keinen konkreten Wert für den Confidence Threshold, verlangt jedoch die Umsetzung geeigneter technischer und organisatorischer Maßnahmen gemäß Art. 24, Art. 25 und Art. 32. In der Praxis bedeutet das, dass Tests zur Wirksamkeit der Anonymisierung dokumentiert und die gewählten Parameter begründet werden sollten.
Bei Materialien mit Kfz-Kennzeichen ist außerdem der rechtliche und tatsächliche Kontext zu berücksichtigen. Ein Kennzeichen ist nicht in jedem Fall ein personenbezogenes Datum, kann dies aber sein, wenn damit unter Einsatz vernünftigerweise wahrscheinlicher Mittel eine natürliche Person identifiziert werden kann. In der Datenschutzpraxis wird das Unkenntlichmachen von Kennzeichen daher häufig als Vorsichtsmaßnahme eingesetzt, insbesondere wenn das Material breiter veröffentlicht werden soll.
Normative Bezüge und Quellen
Für den Begriff Confidence Threshold gibt es keine einheitliche normative Definition in einem Rechtsakt, seine technische Bedeutung ist jedoch mit der Praxis des maschinellen Lernens und der Objekterkennung konsistent. Bei Implementierungen empfiehlt es sich, auf Primärquellen, Modelldokumentationen und anerkannte Benchmarks zurückzugreifen.
- Verordnung (EU) 2016/679, DSGVO – Art. 24, 25, 32.
- NIST IR 8280, Factsheets for AI and Automated Decision Systems, 2021 – zur Bedeutung der Dokumentation von Parametern und Grenzen von KI-Systemen.
- PASCAL VOC Challenge – Everingham et al., International Journal of Computer Vision, 2010 – Metriken wie Precision, Recall und AP für die Objekterkennung.
- COCO Detection Evaluation, Microsoft COCO – gebräuchliche Definitionen von AP und IoU bei der Bewertung von Detektoren.
- Guo et al., On Calibration of Modern Neural Networks, ICML 2017 – zu den Grenzen der Interpretation von Scores als kalibrierte Wahrscheinlichkeit.