La UA diseña la primera app que reconoce e interpreta el 80% del alfabeto de la lengua de signos española

«Se trata de un avance que contribuye a romper las barreras comunicativas entre sordos y oyentes en situaciones tan cotidianas como ir a una consulta médica o comer en un restaurante», según ha informado la institución académica en un comunicado.

Según la última Encuesta de Discapacidad, Autonomía Personal y Situaciones de Dependencia del Instituto Nacional de Estadística (INE), en España hay 1.230.000 personas con una discapacidad auditiva de distinto tipo y grado. De ellas, 27.300 personas emplean la lengua de signos para comunicarse.

Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), la doctora en Informática e investigadora de la UA Ester Martínez, junto al estudiante de doctorado Francisco Morillas, ha desarrollado esta herramienta de bajo coste con el fin de poder ofrecer asistencia a las personas sordas cuando no puedan ir acompañados de un intérprete.

Sign4all, tras capturar a la persona y extraer el detalle del esqueleto de los brazos y manos, codifica con color azul la parte izquierda del cuerpo y en rojo la parte derecha, manteniendo en todo momento el anonimato del usuario.

A partir de este momento, la aplicación traduce el signo utilizado por la persona sorda en tiempo real y, en sentido opuesto, es capaz de signar mediante un avatar virtual palabras en español tecleadas por la persona oyente.

Móvil o tablet

«La idea es que todo este proceso se pueda hacer tras descargar una aplicación y utilizar la propia cámara del móvil o una tablet para que pueda utilizarse en cualquier lugar», detalla Martínez, que ha añadido que, tras muchas pruebas, Sign4all "consigue interpretar y reconocer el alfabeto de la LSE con una precisión del 80%.

«Aunque este resultado se corresponde con el alfabeto dactilológico, estamos trabajando en una versión con un vocabulario específico perteneciente al campo de las tareas cotidianas donde interpretar frases completas», añade.

El equipo de trabajo de la UA lleva meses «entrenando» este nuevo sistema y, de forma progresiva, introduce cada vez más signos. Este proyecto ha propiciado que surja una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (GRILES) de la Universidad de Vigo, un grupo con amplia experiencia en el estudio de esta lengua y su uso en diferentes territorios.

«Desde la Universidad de Vigo están recabando imágenes con intérpretes y nosotros estamos procesando todos esos datos. De este modo, podemos ampliar mucho más rápido el vocabulario de nuestro sistema de reconocimiento e interpretación de la LSE y mejorar su funcionamiento», apunta Ester Martínez.