Definición de intersección sobre unión (IoU)
La intersección sobre unión (IoU) es una métrica que mide hasta qué punto un área de detección predicha coincide con el área anotada de un objeto real. Se utiliza habitualmente para evaluar sistemas de detección de objetos, incluidos los sistemas que detectan rostros y matrículas en imágenes o fotogramas de vídeo antes de difuminar esas áreas.
La IoU compara dos regiones: un cuadro delimitador predicho generado por un modelo de detección y un cuadro delimitador de referencia creado por un anotador. El resultado va de 0 a 1. Un valor de IoU de 1 significa que ambas regiones son idénticas. Un valor de IoU de 0 significa que no se superponen.
La métrica se calcula de la siguiente forma:
IoU = Área de solapamiento / Área de unión
El área de unión incluye todos los píxeles cubiertos por el cuadro delimitador predicho o por el cuadro delimitador de referencia. El solapamiento incluye únicamente los píxeles cubiertos por ambos cuadros.
Valor de IoU | Interpretación
|
|---|---|
0,00 | No hay solapamiento entre el cuadro predicho y el cuadro de referencia. |
0,50 | Solapamiento parcial. Es un umbral mínimo utilizado habitualmente para considerar correcta una detección en una evaluación comparativa. |
0,75 | Alta coincidencia entre el cuadro predicho y el objeto anotado. |
1,00 | Coincidencia perfecta entre los cuadros predicho y anotado. |
La IoU es una métrica técnica de evaluación. Por sí sola no determina si el tratamiento de imágenes o vídeos es lícito, si las grabaciones son anónimas ni si un efecto de difuminado protege adecuadamente la identidad de una persona. Ayuda a evaluar si la fase de detección localiza la región correcta de la imagen para su posterior anonimización.
Cómo se aplica la intersección sobre unión al difuminado de rostros y matrículas
La anonimización automática de imágenes suele requerir varios pasos diferenciados. Primero, un modelo realiza la detección de rostros o la detección de matrículas. A continuación, genera un cuadro delimitador y una puntuación de confianza. El sistema puede aplicar difuminado, pixelado, enmascaramiento u otra transformación visual al área detectada.
La IoU es especialmente relevante durante las pruebas del modelo, ya que un cuadro de detección demasiado pequeño puede dejar visibles partes identificables de un rostro o una matrícula. Un cuadro demasiado grande puede ocultar contenido innecesario de la imagen. En los tratamientos orientados a la privacidad, quienes evalúan el sistema deben examinar tanto la puntuación de IoU como la cobertura visual generada por el efecto final de anonimización.
- Cuadro de detección demasiado pequeño: el cuadro delimitador puede no cubrir todo el rostro, la línea del cabello o los límites de la matrícula. El difuminado resultante puede dejar visibles detalles identificativos.
- Cuadro de detección demasiado grande: el cuadro puede cubrir a personas cercanas, señales de tráfico, detalles del vehículo u otro contenido contextual que no es necesario ocultar.
- Cuadro correcto, pero difuminado insuficiente: una detección puede tener una IoU elevada y, aun así, el difuminado aplicado puede ser demasiado débil para impedir la identificación.
- Objeto no detectado: no se puede calcular la IoU de un objeto que el sistema no detecta. Es necesario utilizar la exhaustividad para medir los rostros o las matrículas que no se han detectado.
Por este motivo, la IoU no debe utilizarse como único criterio de aceptación en un flujo de trabajo de anonimización de imágenes o vídeos. Debe evaluarse junto con la exhaustividad, la precisión, la tasa de falsos negativos, los umbrales de confianza y las comprobaciones manuales de calidad.
Umbrales de IoU en la evaluación de detección
Un umbral de IoU determina cuándo un cuadro delimitador predicho se considera coincidente con un objeto de referencia. Si la IoU medida alcanza o supera el umbral seleccionado, la predicción puede clasificarse como un verdadero positivo. Si queda por debajo del umbral, suele tratarse como un falso positivo, aunque se solape parcialmente con el objeto.
El umbral adecuado depende del caso de uso, el tamaño del objeto, las normas de anotación y el riesgo para la privacidad. Los rostros pequeños en fotogramas de vídeo lejanos y las matrículas inclinadas pueden ser difíciles de anotar y detectar con precisión. Por tanto, un único umbral fijo puede ocultar debilidades importantes.
Enfoque de evaluación | Método de umbral de IoU | Significado práctico
|
|---|---|---|
PASCAL Visual Object Classes (VOC) | IoU de 0,50 | Por lo general, una detección se acepta cuando su solapamiento con el objeto de referencia es de al menos el 50 %. |
Common Objects in Context (COCO) | Promedio de umbrales de IoU de 0,50 a 0,95, en incrementos de 0,05 | La métrica mide el rendimiento tanto con requisitos moderados como estrictos de localización. |
Pruebas internas centradas en la privacidad | Definido por la organización | El umbral debe documentarse junto con los ajustes de ampliación del difuminado, las normas de revisión y la tolerancia al riesgo. |
El desafío PASCAL VOC utilizaba un umbral de IoU de 0,5 para evaluar la detección de objetos. La evaluación comparativa COCO utiliza la precisión media en diez umbrales, desde 0,50 hasta 0,95. La evaluación basada en COCO es más estricta porque una detección que supera el umbral de 0,50 puede no superar umbrales más altos.
IoU, precisión y exhaustividad en las pruebas de calidad de anonimización
La IoU mide la calidad de localización de las detecciones coincidentes. No mide todos los errores de detección. Una evaluación sólida del difuminado de rostros o del difuminado de matrículas debe combinar la IoU con métricas que determinen si se han encontrado los objetos y si se han seleccionado objetos incorrectos.
- Precisión: la proporción de cuadros detectados que corresponde a rostros o matrículas reales. Una precisión baja puede provocar difuminados innecesarios.
- Exhaustividad: la proporción de rostros o matrículas reales que se han detectado. Una exhaustividad baja crea el riesgo de que sigan siendo visibles objetos identificables.
- Falsos negativos: rostros o matrículas presentes en las grabaciones, pero no detectados por el modelo.
- Falsos positivos: áreas detectadas erróneamente como rostros o matrículas.
- Precisión media (AP): medida resumida que combina precisión y exhaustividad en un umbral de IoU especificado o en varios umbrales.
En las grabaciones de vídeo, la evaluación también debe tener en cuenta el comportamiento de un fotograma a otro. Un detector puede lograr una IoU aceptable en fotogramas individuales, pero no detectar de forma intermitente un rostro debido al movimiento, la oclusión, el desenfoque de movimiento, una iluminación deficiente o cambios en el ángulo de la cámara. Por ello, las pruebas deben incluir secuencias representativas y no limitarse a imágenes fijas aisladas.
Limitaciones de la intersección sobre unión para la protección de la privacidad
La IoU es útil para evaluar cuadros delimitadores, pero presenta limitaciones en el tratamiento de imágenes sensible para la privacidad. Trata por igual todos los píxeles incluidos en un cuadro. No determina si el cuadro contiene rasgos identificativos, si una persona todavía puede ser reconocida por el contexto ni si una imagen transformada cumple los requisitos de privacidad de una organización.
La IoU también puede ser sensible al tamaño del objeto. Un pequeño desplazamiento en un cuadro delimitador puede reducir considerablemente la IoU de un rostro lejano o una matrícula pequeña. A la inversa, una IoU relativamente elevada puede seguir siendo insuficiente si el cuadro predicho excluye una parte crítica e identificativa del objeto.
La calidad de las anotaciones es otro factor limitante. Los cuadros de referencia deben seguir instrucciones de anotación documentadas. Quienes evalúan el sistema deben definir si los cuadros incluyen cabello, orejas, cubiertas faciales, reflejos, matrículas parcialmente visibles y objetos afectados por el desenfoque de movimiento. Diferentes políticas de anotación pueden generar resultados de IoU distintos para el mismo modelo de detección.
Uso de la IoU para evaluar herramientas de anonimización de imágenes y vídeos
Las organizaciones que evalúan una herramienta de anonimización de rostros y matrículas deben solicitar resultados de prueba que identifiquen el conjunto de datos, el método de anotación, las categorías de objetos, los umbrales de IoU, los umbrales de confianza y las definiciones de error. Los resultados sin este contexto son difíciles de comparar.
Un proceso práctico de evaluación puede incluir los siguientes pasos:
- Crear u obtener un conjunto de datos de prueba representativo de imágenes o fotogramas de vídeo con rostros y matrículas anotados manualmente.
- Ejecutar el proceso de detección utilizando ajustes de configuración documentados.
- Relacionar los cuadros predichos con los cuadros de referencia mediante un umbral de IoU definido.
- Calcular la precisión, la exhaustividad, los falsos positivos, los falsos negativos y la precisión media.
- Revisar visualmente muestras después de aplicar el difuminado, especialmente las detecciones cercanas al umbral de IoU seleccionado.
- Probar condiciones difíciles, como baja resolución, sombras, oclusión parcial, perfiles laterales, vehículos en movimiento y escenas concurridas.
Gallio PRO utiliza la detección de rostros y la detección de matrículas para apoyar flujos de trabajo de anonimización de imágenes y vídeos. Su procesamiento automático abarca rostros y matrículas. Otros elementos, como logotipos, tatuajes, identificaciones nominativas, documentos y contenido de monitores, requieren revisión manual y edición con el editor manual cuando deban ocultarse.
Normas y referencias
La IoU se utiliza ampliamente en la investigación de visión artificial y en evaluaciones comparativas, pero no está definida por una única norma técnica universal. Las siguientes publicaciones principales son fuentes ampliamente citadas sobre su uso en la evaluación de detección de objetos.
- Desafío PASCAL Visual Object Classes, International Journal of Computer Vision, 2010 - define el criterio de solapamiento utilizado en el desafío de detección PASCAL VOC.
- Evaluación de detección de Common Objects in Context (COCO) - documenta la evaluación de precisión media en umbrales de IoU de 0,50 a 0,95.
- Microsoft COCO: Common Objects in Context, 2014 - presenta el conjunto de datos COCO y su marco de evaluación de detección de objetos.
- Prueba FRVT de proveedores del Instituto Nacional de Normas y Tecnología (NIST) - ofrece un ejemplo independiente de pruebas estructuradas de rendimiento biométrico, aunque las métricas FRVT no sustituyen la evaluación de IoU de cuadros delimitadores.