Definición de precisión y exhaustividad
La precisión y la exhaustividad son métricas de rendimiento utilizadas para evaluar un detector. En la anonimización de imágenes y vídeos, indican hasta qué punto un sistema identifica de forma fiable los rostros o las matrículas que deben difuminarse. Se calculan comparando los resultados del detector con los datos de referencia, es decir, un conjunto de referencia revisado que identifica los rostros o las matrículas relevantes en cada imagen o fotograma de vídeo.
La precisión mide la proporción de detecciones notificadas que son correctas. La exhaustividad mide la proporción de todos los objetos relevantes que el detector localiza correctamente. Para la protección de la privacidad, la exhaustividad suele ser la métrica más crítica desde el punto de vista de la seguridad, ya que un falso negativo puede dejar visible un rostro o una matrícula en las grabaciones difundidas.
Métrica | Fórmula | Significado para la anonimización
|
|---|---|---|
Precisión | TP / (TP + FP) | Con qué frecuencia es correcta una detección notificada de un rostro o una matrícula. |
Exhaustividad | TP / (TP + FN) | Cuántos rostros o matrículas presentes en las grabaciones se detectan. |
Puntuación F1 | 2 × (precisión × exhaustividad) / (precisión + exhaustividad) | Media armónica que resume la precisión y la exhaustividad en un único valor. |
En estas fórmulas, TP significa verdadero positivo, FP significa falso positivo y FN significa falso negativo. Un verdadero positivo es un rostro o una matrícula detectados correctamente. Un falso positivo es una detección incorrecta, por ejemplo, cuando el detector marca como rostro un objeto que no lo es. Un falso negativo es un rostro o una matrícula no detectados que deberían haberse localizado y difuminado.
Por qué la exhaustividad es importante para difuminar rostros y matrículas
La detección de rostros y la detección de matrículas se utilizan antes del enmascarado o difuminado automático. Un detector con una exhaustividad insuficiente puede pasar por alto a una persona situada en el borde de un fotograma, un rostro pequeño o parcialmente oculto, o una matrícula afectada por reflejos, desenfoque de movimiento, oscuridad, el ángulo de la cámara o artefactos de compresión. Si el flujo de trabajo de procesamiento depende únicamente de los resultados automáticos, esos objetos no detectados pueden seguir siendo identificables.
Por este motivo, las organizaciones deben evaluar la exhaustividad con grabaciones que se parezcan a su material real. Las condiciones relevantes suelen incluir:
- rostros pequeños, lejanos, de perfil, parcialmente cubiertos o muy comprimidos;
- matrículas captadas desde ángulos oblicuos o con reflejos, sombras, lluvia y poca luz;
- movimientos rápidos de cámara, fotogramas perdidos, cambios de escena y oclusión de objetos;
- escenas concurridas con personas, vehículos u objetos repetidos que se superponen;
- distintos modelos de cámara, resoluciones, velocidades de fotogramas, regiones geográficas y formatos de matrícula.
Una puntuación global de exhaustividad elevada no demuestra que todas las situaciones operativas sean seguras. Por ejemplo, un detector puede alcanzar una buena exhaustividad con rostros frontales bien iluminados, pero funcionar con menor fiabilidad con rostros lejanos en grabaciones nocturnas. Por tanto, la evaluación debe informar de los resultados por escenario, no solo mediante una puntuación global.
La relación entre precisión y exhaustividad
Muchos modelos de detección generan una puntuación de confianza para cada objeto candidato. Un flujo de trabajo de procesamiento acepta el candidato como detección solo cuando su puntuación alcanza un umbral seleccionado. Reducir el umbral suele aumentar la exhaustividad, ya que se aceptan más posibles rostros o matrículas. Sin embargo, también puede reducir la precisión porque se aceptan más objetos incorrectos.
Esta relación tiene distintos efectos operativos:
- Baja exhaustividad: se localizan menos objetos, lo que aumenta el riesgo de que un rostro o una matrícula permanezcan sin difuminar.
- Baja precisión: pueden difuminarse más objetos no sensibles, lo que puede reducir la utilidad o la calidad visual del resultado.
- Alta exhaustividad con revisión manual: las detecciones adicionales pueden comprobarse y corregirse antes de difundir las grabaciones.
No existe un umbral universal adecuado para todos los tipos de grabaciones. El umbral debe seleccionarse utilizando un conjunto de validación documentado, los criterios de difusión de la organización y el proceso de control de calidad disponible. El mismo umbral puede no producir la misma precisión y exhaustividad tras un cambio en la fuente de la cámara, la codificación de vídeo, el tipo de escena o la versión del modelo.
Cómo se miden la precisión y la exhaustividad
La medición requiere datos de prueba etiquetados que no se hayan utilizado para entrenar ni ajustar el detector. Para cada imagen o fotograma, los revisores identifican los rostros o las matrículas que deberían detectarse. A continuación, el sistema de evaluación relaciona las detecciones con esos objetos de referencia mediante una regla de solapamiento definida.
En la detección de objetos, la medida de solapamiento habitual es la intersección sobre unión (IoU). La IoU compara el solapamiento entre el recuadro delimitador previsto y el recuadro delimitador de los datos de referencia con su área combinada:
IoU = área de solapamiento / área de unión
Una detección solo se contabiliza como verdadero positivo cuando cumple el umbral de correspondencia IoU seleccionado y se asigna al objeto de referencia correcto. El protocolo de evaluación de detección de Common Objects in Context (COCO) informa de la precisión media para umbrales IoU de 0,50 a 0,95, en incrementos de 0,05. Este enfoque muestra por qué un único valor de precisión es incompleto: un detector puede identificar un objeto de forma general, pero situar el recuadro delimitador con una precisión insuficiente para un enmascarado fiable.
Aspectos que deben tenerse en cuenta al evaluar vídeos
La anonimización de vídeos introduce riesgos que no se observan en las pruebas con imágenes estáticas. Un rostro puede detectarse en un fotograma, pero no en los fotogramas adyacentes. Una interrupción breve puede exponer información identificativa, especialmente cuando una persona se mueve rápido o aparece durante poco tiempo.
Por tanto, la evaluación debe incluir análisis tanto a nivel de fotograma como de secuencia. La exhaustividad a nivel de fotograma mide cuántos objetos relevantes se localizan en cada fotograma. La revisión a nivel de secuencia comprueba si un rostro o una matrícula permanecen cubiertos de forma continua mientras son visibles. Entre las medidas útiles de control de calidad se encuentran el número de objetos no detectados, los fotogramas consecutivos no detectados y la duración de cualquier exposición sin enmascarar. Estos parámetros deben definirse antes de las pruebas para que los resultados puedan reproducirse y compararse entre distintas versiones del modelo.
Aplicación en los flujos de trabajo de Gallio PRO
Gallio PRO utiliza la detección de rostros y la detección de matrículas para facilitar el difuminado automático en archivos de imagen y vídeo cargados. No realiza anonimización en tiempo real ni anonimización de transmisiones de vídeo en directo. La precisión y la exhaustividad son relevantes al validar si los resultados de la detección automática requieren una revisión humana adicional antes de compartir, publicar o conservar las grabaciones para otra finalidad autorizada.
La detección automática de Gallio PRO abarca únicamente los rostros y las matrículas. No detecta automáticamente logotipos de empresas, tatuajes, tarjetas identificativas, documentos ni contenido mostrado en monitores. Estos elementos pueden difuminarse manualmente con el editor manual integrado. La revisión manual también permite controlar los falsos negativos y los falsos positivos en los rostros y las matrículas detectados automáticamente.
Normas y referencias
La precisión y la exhaustividad son métricas consolidadas en recuperación de información y aprendizaje automático. Las siguientes fuentes primarias y técnicas explican su uso en la evaluación de clasificación y detección de objetos.
- Davis, J. y Goadrich, M. (2006), «The Relationship Between Precision-Recall and ROC Curves», actas de la 23.ª Conferencia Internacional sobre Aprendizaje Automático.
- Powers, D. M. W. (2011), «Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness and Correlation», Pattern Recognition Letters, 32(15).
- Consorcio COCO, protocolo de evaluación de detección de objetos.
- National Institute of Standards and Technology (NIST), Face Recognition Vendor Test (FRVT). El NIST publica métodos de prueba reproducibles e informes para evaluar tecnologías relacionadas con rostros.