Ground Truth - Definition
Ground Truth bezeichnet einen Satz verifizierter Referenzkennzeichnungen, mit denen gemessen wird, wie präzise ein System Objekte in Bildern oder Videos erkennt. Bei der Anonymisierung von Gesichtern und Kfz-Kennzeichen legt Ground Truth fest, welche Gesichter und Kfz-Kennzeichen in jedem Bild oder Videoframe erkannt und unkenntlich gemacht werden müssen.
Ground-Truth-Kennzeichnungen werden in der Regel von geschulten menschlichen Annotatoren erstellt. Sie können als Begrenzungsrahmen, Polygone, Masken auf Pixelebene, Objektklassen, Framenummern und Sichtbarkeitsattribute vorliegen. Die Kennzeichnungen bilden das erwartete Ergebnis, anhand dessen ein System zur Gesichtsdetektion oder Kfz-Kennzeichendetektion bewertet wird. Die Bezeichnung „Ground Truth“ ist üblich, bedeutet jedoch nicht automatisch, dass die Daten fehlerfrei sind. Ihre Qualität hängt von den Annotierungsregeln, der Schulung der Prüfer, der Bildqualität und den Verfahren zur Qualitätskontrolle ab.
Die Rolle von Ground Truth bei der Bild- und Videoanonymisierung
Ground Truth ist erforderlich, um zu bewerten, ob ein KI-Modell die Gesichter und Kfz-Kennzeichen erkennt, die weichgezeichnet oder verpixelt werden müssen. Sie ersetzt eine subjektive visuelle Einschätzung durch ein messbares Detektionsergebnis. Ohne Referenzkennzeichnungen kann eine Organisation nicht zuverlässig berechnen, wie häufig das System ein identifizierbares Gesicht oder Kfz-Kennzeichen übersieht.
Für Anonymisierungsprozesse sollte der Ground-Truth-Datensatz das Material widerspiegeln, das verarbeitet werden soll. Dazu können Aufzeichnungen aus der Videoüberwachung, fahrzeugmontierte Kameras, Mobilgeräte, Aufnahmen öffentlicher Veranstaltungen, Körperkameras oder archivierte Videos gehören. Relevante Varianten sind Kamerawinkel, Entfernung, Bewegungsunschärfe, Schatten, Witterung, Komprimierungsartefakte, teilweise Verdeckungen und Nachtszenen.
Jedes gekennzeichnete Objekt enthält normalerweise folgende Informationen:
- Objektkategorie, beispielsweise Gesicht oder Kfz-Kennzeichen.
- Position, üblicherweise dargestellt durch einen rechteckigen Begrenzungsrahmen.
- Frame-ID oder Zeitstempel bei Videoaufnahmen.
- Sichtbarkeitsstatus, beispielsweise vollständig sichtbar, teilweise verdeckt, unscharf, weit entfernt oder am Bildrand abgeschnitten.
- Optionale Prüfattribute, beispielsweise die Sicherheit der Annotierung oder Abweichungen zwischen Annotatoren.
So wird Ground Truth erstellt
Ein Ground-Truth-Projekt beginnt mit einer schriftlichen Annotierungsspezifikation. Diese sollte definieren, was als Gesicht oder Kfz-Kennzeichen gilt, wie teilweise sichtbare Objekte gekennzeichnet werden, ob Spiegelungen einbezogen werden und wie eng ein Rahmen oder eine Maske der Objektgrenze folgen muss. Einheitliche Anweisungen sind notwendig, da bereits kleine Unterschiede bei der Annotierung die Bewertungsergebnisse verändern können.
Bei Videos können Annotatoren jeden Frame kennzeichnen oder ausgewählte Frames markieren und Objektpositionen dazwischen interpolieren. Interpolation kann den manuellen Aufwand reduzieren, muss jedoch überprüft werden, wenn sich Objekte schnell bewegen, verdeckt werden oder den Kamerabereich verlassen. Ein übersehenes Gesicht in einem einzelnen Frame kann ein Datenschutzrisiko darstellen, selbst wenn dieselbe Person in benachbarten Frames korrekt erkannt wird.
Die Tabelle fasst gängige Ground-Truth-Formate für Tests der Videoanonymisierung zusammen.
Kennzeichnungsformat | Inhalt | Typischer Einsatz
|
|---|---|---|
Begrenzungsrahmen | Rechteck um ein Gesicht oder Kfz-Kennzeichen | Testen der Objektdetektion und der Platzierung der Maskierung |
Polygon oder Segmentierungsmaske | Objektgrenze auf Pixelebene | Testen einer präzisen Abdeckung bei der Unkenntlichmachung |
Videospur | Verknüpfte Objektkennzeichnungen über aufeinanderfolgende Frames hinweg | Testen der Detektionskontinuität und übersehener Frames |
Ignorierbereich | Bereich, der nach dokumentierten Regeln ausgeschlossen wird | Umgang mit mehrdeutigen, unlesbaren oder stark verdeckten Objekten |
Wichtige Kennzahlen für die Ground-Truth-Bewertung
Bei der Bewertung werden vorhergesagte Detektionen mit Ground-Truth-Kennzeichnungen verglichen. Ein vorhergesagtes Gesicht oder Kfz-Kennzeichen wird im Allgemeinen nur dann als korrekt positives Ergebnis gezählt, wenn es die richtige Objektklasse besitzt und sich ausreichend mit einer Referenzannotierung überschneidet. Das Maß für diese Überschneidung heißt Intersection over Union (IoU).
Die IoU-Formel lautet:
IoU = Fläche der Überschneidung zwischen Vorhersage und Ground Truth / Fläche der Vereinigung von Vorhersage und Ground Truth
Die folgenden Kennzahlen sollten gemeinsam ausgewiesen werden, da keine einzelne Kennzahl das Risiko bei der Anonymisierung vollständig beschreibt.
- Recall: Anteil der Ground-Truth-Objekte, die das System erkennt. Ein niedriger Recall bedeutet, dass Gesichter oder Kfz-Kennzeichen möglicherweise nicht unkenntlich gemacht werden.
- Precision: Anteil der Systemdetektionen, die Ground-Truth-Objekten entsprechen. Eine niedrige Precision kann dazu führen, dass nicht sensible Bildbereiche unnötig weichgezeichnet oder verpixelt werden.
- False Negatives: Ground-Truth-Gesichter oder -Kfz-Kennzeichen, die das System nicht erkannt hat.
- False Positives: Detektionen ohne entsprechendes Ground-Truth-Objekt.
- Average Precision (AP): Zusammenfassung von Precision und Recall, berechnet anhand definierter IoU-Schwellenwerte.
Die PASCAL-Visual-Object-Classes-Challenge (VOC) verwendete für die Bewertung der Objektdetektion einen IoU-Schwellenwert von 0,5. Das Bewertungsprotokoll Microsoft Common Objects in Context (COCO) weist die AP über IoU-Schwellenwerte von 0,50 bis 0,95 in Schritten von 0,05 aus. Diese Protokolle sind nützliche Referenzen. Ein datenschutzorientierter Testplan sollte jedoch auch die absolute Anzahl und Art der übersehenen Gesichter und Kfz-Kennzeichen ausweisen, insbesondere bei schwierigem Bildmaterial.
Ground Truth und Qualität der Unkenntlichmachung
Die Detektionsgenauigkeit allein belegt nicht, dass die Anonymisierung wirksam ist. Ein System kann ein Gesicht korrekt erkennen, aber eine Abdeckung anwenden, die zu klein, verschoben, unterbrochen oder nicht ausreichend deckend ist. Ground Truth kann daher in zwei Phasen eingesetzt werden: zunächst zur Bewertung der Detektion und anschließend zur Prüfung, ob die angewendete Weichzeichnung oder Verpixelung das annotierte Objekt abdeckt.
Eine Prüfung kann beispielsweise messen, ob die finale Maskierung den Ground-Truth-Bereich eines Gesichts oder Kfz-Kennzeichens um einen vorab definierten Mindestanteil überlappt. Der erforderliche Schwellenwert sollte im Testprotokoll dokumentiert werden, da er von der Methode der Unkenntlichmachung, der Objektgröße und dem Datenschutzziel abhängt. Testergebnisse sollten zwischen Detektionsfehlern sowie Darstellungs- oder Trackingfehlern unterscheiden.
Praktischer Einsatz in Workflows mit Gallio PRO
Organisationen können eine repräsentative Ground-Truth-Stichprobe nutzen, um die Bild- und Videoanonymisierung vor einer umfangreicheren Verarbeitung zu validieren. Dies ist besonders wichtig, wenn das Material von einem neuen Kameratyp, Standort oder unter neuen Aufnahmebedingungen stammt. Die Stichprobe sollte von den Daten getrennt bleiben, mit denen Detektionseinstellungen angepasst werden, damit das berichtete Ergebnis die Leistung bei unbekanntem Material widerspiegelt.
Gallio PRO erkennt Gesichter und Kfz-Kennzeichen in unterstützten Bild- und Videodateien automatisch und macht sie weichgezeichnet oder verpixelt unkenntlich. Eine Ground-Truth-Prüfung kann Objekte aufzeigen, die manuell korrigiert werden müssen, einschließlich übersehener Gesichter oder Kfz-Kennzeichen. Elemente, die nicht automatisch erkannt werden, etwa Unternehmenslogos, Tätowierungen, Namensschilder, Dokumente und Bildschirminhalte, können bei Bedarf entsprechend dem Verarbeitungszweck mit dem integrierten Editor manuell unkenntlich gemacht werden.
Standards und Referenzen
Für die Anonymisierung von Gesichtern und Kfz-Kennzeichen gibt es keinen einheitlichen, universellen Ground-Truth-Standard. Bewertungsprotokolle sollten die Annotierungsregeln, die Zusammensetzung des Datensatzes, Objektklassen, IoU-Schwellenwerte, die Prüfmethode und den Umgang mit mehrdeutigen Objekten nennen. Die folgenden technischen Referenzen enthalten etablierte Bewertungskonzepte.
- PASCAL VOC Challenge, 2010 - Bewertung der Objektdetektion mit einem IoU-Schwellenwert von 0,5.
- Microsoft COCO: Common Objects in Context, 2014 - AP-Bewertung über mehrere IoU-Schwellenwerte hinweg.
- ISO/IEC 5259-1:2024 - Datenqualität für Analytik und maschinelles Lernen, einschließlich eines Rahmens für das Management der Datenqualität.
- Anbietertest des National Institute of Standards and Technology für Gesichtstechnologien - Methodik und Berichte zur Bewertung biometrischer Gesichtstechnologien.