Was ist Intersection over Union (IoU)?

Intersection over Union (IoU): Definition

Intersection over Union (IoU) ist eine Kennzahl, die misst, wie genau ein vorhergesagter Detektionsbereich mit dem annotierten Bereich eines realen Objekts übereinstimmt. Sie wird häufig zur Bewertung von Objektdetektionssystemen eingesetzt, darunter Systeme zur Erkennung von Gesichtern und Kfz-Kennzeichen in Bildern oder Videobildern, bevor diese Bereiche weichgezeichnet oder verpixelt werden.

IoU vergleicht zwei Bereiche: eine von einem Detektionsmodell erzeugte Bounding Box und eine von einer annotierenden Person erstellte Ground-Truth-Bounding-Box. Das Ergebnis liegt zwischen 0 und 1. Ein IoU-Wert von 1 bedeutet, dass beide Bereiche identisch sind. Ein IoU-Wert von 0 bedeutet, dass sie sich nicht überschneiden.

Die Kennzahl wird wie folgt berechnet:

IoU = Fläche der Überschneidung / Fläche der Vereinigung

Die Vereinigungsfläche umfasst alle Pixel, die entweder von der vorhergesagten Bounding Box oder von der Ground-Truth-Bounding-Box abgedeckt werden. Die Überschneidungsfläche umfasst ausschließlich Pixel, die von beiden Boxen abgedeckt werden.

IoU ist eine technische Bewertungskennzahl. Sie bestimmt nicht, ob die Verarbeitung von Bildern oder Videos rechtmäßig ist, ob Aufnahmen anonymisiert sind oder ob eine Weichzeichnung die Identität einer Person ausreichend schützt. Sie hilft zu bewerten, ob die Detektionsphase den korrekten Bildbereich für die anschließende Anonymisierung identifiziert.

So wird Intersection over Union beim Unkenntlichmachen von Gesichtern und Kfz-Kennzeichen eingesetzt

Die automatisierte Bildanonymisierung erfordert in der Regel mehrere getrennte Schritte. Ein Modell führt zunächst eine Gesichtsdetektion oder die Detektion von Kfz-Kennzeichen durch. Anschließend gibt es eine Bounding Box und einen Konfidenzwert aus. Das System kann auf den erkannten Bereich eine Weichzeichnung, Verpixelung, Maskierung oder eine andere visuelle Transformation anwenden.

IoU ist besonders beim Testen von Modellen relevant, da eine zu kleine Detektionsbox identifizierbare Teile eines Gesichts oder Kfz-Kennzeichens sichtbar lassen kann. Eine zu große Box kann unnötige Bildinhalte verdecken. Bei datenschutzorientierter Verarbeitung sollten Bewertende sowohl den IoU-Wert als auch die visuelle Abdeckung durch den finalen Anonymisierungseffekt prüfen.

• Zu kleine Detektionsbox: Die Bounding Box deckt möglicherweise nicht das gesamte Gesicht, den Haaransatz oder die Grenzen eines Kfz-Kennzeichens ab. Die daraus resultierende Weichzeichnung kann identifizierende Details sichtbar lassen.
• Zu große Detektionsbox: Die Box kann Personen in der Nähe, Verkehrsschilder, Fahrzeugdetails oder andere Kontextinhalte abdecken, die nicht unkenntlich gemacht werden müssen.
• Korrekte Box, aber unzureichende Weichzeichnung: Eine Detektion kann einen hohen IoU-Wert aufweisen, während die angewendete Weichzeichnung dennoch zu schwach ist, um eine Identifizierung zu verhindern.
• Nicht erkanntes Objekt: Für ein Objekt, das das System nicht erkennt, kann kein IoU-Wert berechnet werden. Um nicht erkannte Gesichter oder Kfz-Kennzeichen zu messen, ist der Recall erforderlich.

Aus diesem Grund sollte IoU nicht das einzige Abnahmekriterium für einen Workflow zur Bild- oder Videoanonymisierung sein. Die Kennzahl sollte zusammen mit Recall, Präzision, Falsch-negativ-Rate, Konfidenzschwellenwerten und manuellen Qualitätsprüfungen bewertet werden.

IoU-Schwellenwerte bei der Detektionsbewertung

Ein IoU-Schwellenwert legt fest, wann eine vorhergesagte Bounding Box als Übereinstimmung mit einem Ground-Truth-Objekt gilt. Erreicht oder überschreitet der gemessene IoU-Wert den gewählten Schwellenwert, kann die Vorhersage als richtig positiv eingestuft werden. Liegt sie darunter, wird sie in der Regel als falsch positiv behandelt, selbst wenn sie sich teilweise mit dem Objekt überschneidet.

Der passende Schwellenwert hängt vom Anwendungsfall, der Objektgröße, den Annotierungsregeln und dem Datenschutzrisiko ab. Kleine Gesichter in weit entfernten Videobildern und schräg aufgenommene Kfz-Kennzeichen können sich nur schwer präzise annotieren und erkennen lassen. Ein einzelner fester Schwellenwert kann daher wichtige Schwächen verdecken.

Die PASCAL-VOC-Challenge verwendete für die Bewertung der Objektdetektion einen IoU-Schwellenwert von 0,5. Der COCO-Benchmark verwendet die durchschnittliche Präzision über zehn Schwellenwerte, beginnend bei 0,50 und endend bei 0,95. Eine Bewertung nach dem COCO-Modell ist strenger, da eine Detektion, die bei 0,50 besteht, bei höheren Schwellenwerten scheitern kann.

IoU, Präzision und Recall bei Qualitätstests zur Anonymisierung

IoU misst die Lokalisierungsqualität übereinstimmender Detektionen. Sie erfasst nicht alle Detektionsfehler. Eine belastbare Bewertung des Unkenntlichmachens von Gesichtern oder Kfz-Kennzeichen sollte IoU mit Kennzahlen kombinieren, die messen, ob Objekte gefunden und ob falsche Objekte ausgewählt wurden.

• Präzision: Der Anteil erkannter Boxen, die tatsächlichen Gesichtern oder Kfz-Kennzeichen entsprechen. Eine geringe Präzision kann zu unnötigen Weichzeichnungen führen.
• Recall: Der Anteil tatsächlich vorhandener Gesichter oder Kfz-Kennzeichen, die erkannt wurden. Ein geringer Recall birgt das Risiko, dass identifizierbare Objekte sichtbar bleiben.
• Falsch negative Ergebnisse: Gesichter oder Kfz-Kennzeichen, die in den Aufnahmen vorhanden sind, aber vom Modell nicht erkannt werden.
• Falsch positive Ergebnisse: Bereiche, die fälschlicherweise als Gesichter oder Kfz-Kennzeichen erkannt werden.
• Durchschnittliche Präzision (AP): Eine zusammenfassende Kennzahl, die Präzision und Recall bei einem bestimmten IoU-Schwellenwert oder über mehrere Schwellenwerte hinweg kombiniert.

Bei Videoaufnahmen sollte die Bewertung auch das Verhalten von Bild zu Bild berücksichtigen. Ein Detektor kann bei einzelnen Videobildern akzeptable IoU-Werte erreichen, ein Gesicht jedoch bei Bewegung, Verdeckung, Bewegungsunschärfe, schlechten Lichtverhältnissen oder Änderungen des Kamerawinkels zeitweise übersehen. Tests sollten daher repräsentative Sequenzen und nicht nur einzelne Standbilder umfassen.

Grenzen von Intersection over Union beim Datenschutz

IoU ist für die Bewertung von Bounding Boxes nützlich, hat jedoch Grenzen bei der datenschutzsensiblen Bildverarbeitung. Die Kennzahl behandelt alle Pixel innerhalb einer Box gleich. Sie bestimmt weder, ob die Box identifizierende Merkmale enthält, ob eine Person weiterhin anhand des Kontexts erkannt werden kann, noch ob ein bearbeitetes Bild die Datenschutzanforderungen einer Organisation erfüllt.

IoU kann zudem empfindlich auf die Objektgröße reagieren. Eine geringe Verschiebung einer Bounding Box kann den IoU-Wert für ein weit entferntes Gesicht oder ein kleines Kfz-Kennzeichen erheblich reduzieren. Umgekehrt kann ein relativ hoher IoU-Wert weiterhin unzureichend sein, wenn die vorhergesagte Box einen entscheidenden identifizierenden Teil des Objekts ausschließt.

Auch die Qualität der Annotierungen ist ein begrenzender Faktor. Ground-Truth-Boxen müssen dokumentierten Anweisungen für die Annotation folgen. Bewertende sollten festlegen, ob Boxen Haare, Ohren, Gesichtsbedeckungen, Spiegelungen, teilweise sichtbare Kennzeichen und bewegungsunscharfe Objekte einschließen. Unterschiedliche Annotierungsrichtlinien können für dasselbe Detektionsmodell zu unterschiedlichen IoU-Ergebnissen führen.

IoU bei der Bewertung von Tools zur Bild- und Videoanonymisierung einsetzen

Organisationen, die ein Tool zur Anonymisierung von Gesichtern und Kfz-Kennzeichen bewerten, sollten Testergebnisse anfordern, aus denen Datensatz, Annotierungsmethode, Objektkategorien, IoU-Schwellenwerte, Konfidenzschwellenwerte und Fehlerdefinitionen hervorgehen. Ergebnisse ohne diesen Kontext lassen sich nur schwer vergleichen.

Ein praxisnaher Bewertungsprozess kann die folgenden Schritte umfassen:

1. Erstellen oder beschaffen Sie einen repräsentativen Testdatensatz aus Bildern oder Videobildern mit manuell annotierten Gesichtern und Kfz-Kennzeichen.
2. Führen Sie den Detektionsprozess mit dokumentierten Konfigurationseinstellungen aus.
3. Ordnen Sie vorhergesagte Boxen Ground-Truth-Boxen anhand eines definierten IoU-Schwellenwerts zu.
4. Berechnen Sie Präzision, Recall, falsch positive und falsch negative Ergebnisse sowie die durchschnittliche Präzision.
5. Prüfen Sie Stichproben nach der Weichzeichnung visuell, insbesondere Detektionen nahe dem gewählten IoU-Schwellenwert.
6. Testen Sie schwierige Bedingungen wie geringe Auflösung, Schatten, teilweise Verdeckung, Seitenprofile, sich bewegende Fahrzeuge und stark frequentierte Szenen.

Gallio PRO nutzt Gesichtsdetektion und die Detektion von Kfz-Kennzeichen, um Workflows zur Bild- und Videoanonymisierung zu unterstützen. Die automatische Verarbeitung umfasst Gesichter und Kfz-Kennzeichen. Andere Elemente wie Logos, Tätowierungen, Namensschilder, Dokumente und Monitorinhalte erfordern eine manuelle Prüfung und Bearbeitung, wenn sie unkenntlich gemacht werden müssen.

Standards und Referenzen

IoU wird in der Forschung zur Computer Vision und bei Benchmark-Bewertungen häufig verwendet, ist jedoch nicht durch einen einzigen universellen technischen Standard definiert. Die folgenden Primärpublikationen werden häufig als Quellen für den Einsatz von IoU bei der Bewertung der Objektdetektion zitiert.

• PASCAL Visual Object Classes Challenge, International Journal of Computer Vision, 2010 - definiert das Überschneidungskriterium der PASCAL-VOC-Challenge zur Detektion.
• Common Objects in Context (COCO): Bewertung der Detektion - dokumentiert die Bewertung der durchschnittlichen Präzision über IoU-Schwellenwerte von 0,50 bis 0,95.
• Microsoft COCO: Common Objects in Context, 2014 - stellt den COCO-Datensatz und dessen Bewertungsrahmen für die Objektdetektion vor.
• National Institute of Standards and Technology (NIST), Face Recognition Vendor Test (FRVT) - bietet ein separates Beispiel für strukturierte Leistungstests, wobei die FRVT-Kennzahlen keinen Ersatz für die IoU-Bewertung von Bounding Boxes darstellen.