Nous avenços en la detecció de biaixos als algoritmes de reconeixement facial
Un equip del Centre de Visió per Computador i de la Universitat de Barcelona ha avaluat la precisió i els biaixos de gènere i color de pell dels algoritmes de reconeixement facial automàtics. Tot i que les millors solucions superen el 99.9% de precisió, s'han detectat grups que mostren taxes més altes de falsos positius o falsos negatius.
22/01/2021
El reconeixement facial ha estat utilitzat habitualment per organitzacions privades i governamentals de tot el món. El reconeixement facial automàtic es pot utilitzar amb finalitats legítimes i beneficioses (per exemple, per millorar la seguretat) però, al mateix temps, el seu poder i ubiqüitat augmenta el potencial impacte negatiu que els mètodes injustos poden tenir a la societat (per exemple, la discriminació de les minories ètniques). Una condició necessària, tot i que no suficient, per a una implementació apropiada dels algoritmes de reconeixement facial és que funcionin de la mateixa manera per a tots els grups demogràfics.
Amb aquest objectiu, investigadors del Human Pose Recovery and Behavior Analysis Group del Centre de Visió per Computador (CVC)-Universitat de Barcelona (UB), liderats pel Dr. Sergio Escalera, van organitzar un repte dins del Congrés Europeu de Visió per Computador (ECCV) 2020. Els resultats, publicats recentment a la revista Computer Vision-ECCV 2020 Workshops, van avaluar la precisió dels algoritmes presentats pels participants en la tasca de verificació facial en presència d’altres atributs de confusió.
El repte va ser un èxit, ja que "va atraure 151 participants, els quals van enviar més de 1.800 possibles solucions en total, superant les nostres expectatives pel que fa al nombre de participants i enviaments", va explicar Sergio Escalera (UB-CVC).
Els participants van utilitzar com a conjunt de dades un banc d’imatges no equilibrat, que simulaven un escenari del món real, on els models basats en Intel·ligència Artificial s’entrenen i avaluen amb dades desequilibrades (considerablement més homes blancs que dones de color). En total, van treballar amb 152,917 imatges de 6,139 identitats.
Les imatges van ser classificades en dos atributs protegits: gènere i color de pell; i en cinc atributs legítims: grup d’edat (0-35, 35-64, 65+), posició del cap (frontal, altres), font de la imatge (imatge fixa, fotograma del vídeo), ús d’ulleres i mida del marc delimitador.
Els resultats obtinguts van ser molt prometedors. Les solucions guanyadores van superar el 99,9% de precisió i van obtenir puntuacions molt baixes en les mètriques de biaix proposades, “el que pot considerar-se un pas cap al desenvolupament de mètodes de reconeixement facial més justos”, va exposar Julio CS Jacques Jr., investigador del CVC i de la Universitat Oberta de Catalunya (UOC).
L'anàlisi dels 10 millors equips va mostrar taxes més altes de falsos positius per a les dones amb tonalitats de pell fosca i per a les mostres en les quals ambdós individus utilitzaven ulleres. D’altra banda, va haver-hi taxes més altes de falsos negatius per als homes amb tonalitats de pell clara i per a les mostres d’ambdós gèneres quan eren menors de 35 anys. A més, es va trobar que per tot el conjunt de dades, les persones menors de 35 anys utilitzen ulleres amb menys freqüència que les persones majors, el qual resulta una combinació d’efectes d’aquests atributs. "Això no va ser una sorpresa, ja que el conjunt de dades utilitzades no estava equilibrat respecte als diferents atributs demogràfics. No obstant això, mostra que la precisió general no és suficient quan l’objectiu és construir mètodes justs de reconeixement facial. Per tant, els treballs futurs cal que tinguin en compte la precisió i la mitigació de biaixos de forma conjunta", va concloure Julio C.S. Jacques Jr.