Nuevos avances en la detección de sesgos en algoritmos de reconocimiento facial
Un equipo del Centro de Visión por Computador y de la Universidad de Barcelona ha evaluado la precisión y el sesgo en el género y el color de piel de los algoritmos de reconocimiento facial automáticos. Aunque las mejores soluciones superan el 99.9% de precisión, se han detectado grupos que muestran tasas más altas de falsos positivos o falsos negativos.
22/01/2021
El reconocimiento facial ha sido utilizado habitualmente por organizaciones privadas y gubernamentales de todo el mundo. El reconocimiento facial automático se puede utilizar con fines legítimos y beneficiosos (por ejemplo, para mejorar la seguridad) pero, al mismo tiempo, su poder y ubicuidad aumenta el potencial impacto negativo que los métodos injustos pueden tener en la sociedad (por ejemplo, la discriminación de las minorías étnicas). Una condición necesaria, aunque no es suficiente, para una implementación apropiada de los algoritmos de reconocimiento facial es que funcionen por igual para todos los grupos demográficos. Con este objetivo en mente, investigadores del Human Pose Recovery and Behavior Analysis Group del Centro de Visión por Computador (CVC)-Universidad de Barcelona (UB), liderados por el Dr. Sergio Escalera, organizaron un desafío dentro del Congreso Europeo de Visión por Computador (ECCV) 2020. Los resultados, publicados recientemente en la revista Computer Vision - ECCV 2020 Workshops, evaluaron la precisión de los algoritmos presentados por los participantes en la tarea de verificación facial en presencia de otros atributos de confusión.
El desafío fue un éxito ya que "atrajo a 151 participantes, quienes enviaron más de 1.800 posibles soluciones en total, superando nuestras expectativas en cuanto a número de participantes y envíos", explicó Sergio Escalera (UB-CVC).
Los participantes utilizaron como conjunto de datos un banco de imágenes no equilibrado, que simulaban un escenario del mundo real, en donde los modelos basados en Inteligencia Artificial se entrenan y evalúan con datos desequilibrados (considerablemente más hombres blancos que mujeres de color). En total, trabajaron con 152,917 imágenes de 6,139 identidades.
Las imágenes fueron clasificadas en dos atributos protegidos: género y color de piel; y en cinco atributos legítimos: grupo de edad (0-34, 35-64, 65+), pose de la cabeza (frontal, otra), fuente de la imagen (imagen fija, fotograma de video), uso de gafas y tamaño del marco delimitador.
Los resultados obtenidos fueron muy prometedores. Las soluciones ganadoras superaron el 99.9% de precisión y obtuvieron puntuaciones muy bajas en las métricas de sesgo propuestas, "lo que puede considerarse un paso hacia el desarrollo de métodos de reconocimiento facial más justos", expuso Julio CS Jacques Jr., investigador del CVC y de la Universidad Oberta de Cataluña.
El análisis de los 10 mejores equipos mostró tasas más altas de falsos positivos para las mujeres con tono de piel oscuro y para las muestras en las que ambos individuos usaban gafas. Por otro lado, hubo tasas más altas de falsos negativos para los hombres con tono de piel claro y para las muestras de ambos géneros cuando eran menores de 35 años. Además, se encontró que, para todo el conjunto de datos, las personas menores de 35 años usan gafas con menos frecuencia que las personas mayores, lo que resulta en una combinación de efectos de estos atributos. “Esto no fue una sorpresa, ya que el conjunto de datos utilizado no estaba equilibrado con respecto a los diferentes atributos demográficos. Sin embargo, muestra que la precisión general no es suficiente cuando el objetivo es construir métodos justos de reconocimiento facial, por lo que los trabajos futuros sobre este tema han de tener en cuenta la precisión y la mitigación de sesgos conjuntamente”, concluyó Julio C. S. Jacques Jr.