Creado un sistema visual para interpretar lenguas de signos
02/06/2010
La lengua de signos española es utilizada por más de 100.000 personas con discapacidad auditiva y está formada por centenares de signos. Los investigadores de la Universidad de Barcelona Sergio Escalera, Petia Radeva y Jordi Vitrià, adscritos al CVC-UAB, han seleccionado más de veinte para desarrollar un nuevo sistema visual que los interpreta y permite a las personas con sordera realizar consultas usando su lenguaje natural.
Los signos sufren alteraciones introducidas por los usuarios. Los investigadores del proyecto también las han tenido en cuenta realizando ensayos con diferentes personas para que el sistema "aprenda" esta variabilidad. La veintena de signos que puede reconocer permite a las personas con sordera mantener una conversación básica, como solicitar ayuda para ubicarse o preguntar sobre lugares turísticos. "Es una manera de comunicación no artificial para ellas, y a la vez les permite comunicarse con individuos que no entienden la lengua de los signos, puesto que realiza una traducción de signo a palabra en tiempo real", comenta Sergio Escalera.
El hardware dispone de una cámara de vídeo que graba secuencias de imágenes cuando percibe la presencia de un usuario que quiere realizar su consulta. Seguidamente, un sistema de visión por computador y aprendizaje automático detecta los movimientos del rostro, las manos y los brazos, así como su desplazamiento por la pantalla, y los incorpora a un sistema de clasificación que identifica cada movimiento con la palabra asociada al signo correspondiente.
Un aspecto destacable del sistema es su capacidad de adaptación a cualquier lengua de signos, dado que la metodología empleada es general. Lo único que habría que hacer seria cambiar los signos aprendidos por los de la nueva lengua a utilizar. Es también escalable, en cuanto a cantidad de signos que puede reconocer, aun cuando, a medida que incorpora más datos, los investigadores reconocen que aumenta también la dificultad para discriminarlos.
Aplicaciones como ésta requieren una precisión extrema en la fase de identificación de los signos y son muy difíciles de llevar a cabo de manera robusta, porque han de estar trabajando en un entorno abierto, con cambios de iluminación y oclusiones, diferentes fisonomías de los individuos y distintas velocidades de realización de los signos.
Con anterioridad, ha habido varios intentos de realizar proyectos similares, pero la mayoría ha fracasado o funciona de manera poco fiable porque la variabilidad de los entornos no controlados es altamente compleja. Para el éxito de este proyecto, ha sido fundamental la fijación de la posición en la que los individuos realizan los signos, que evita que pueda haber varios puntos de vista en las grabaciones de los sujetos.
El sistema acaba de ser presentado como prototipo en la fase final de un proyecto nacional y los investigadores ya trabajan en nuevas vías de continuación, como por ejemplo usar dos cámaras para reconocer signos más complejos y complementar el reconocimiento incluyendo características faciales.