La UPV trabaja en un proyecto estratégico de ciberseguridad que analiza las vulnerabilidades de sistemas con IA

Dentro del proyecto 'Sprint', Seguridad y PRivacidad en sistemas con INTeligencia Artificial, se han estudiado las dificultades con las que se encuentran los desarrolladores de asistentes que utilizan la inteligencia artificial, tales como Amazon y Alexa. Sus conclusiones se presentarán en la USENIX Security Symposium, una de las conferencias más importantes en materia de ciberseguridad a nivel internacional del 14 al 16 de agosto de 2024 en Philadelphia (EE.UU).

El proyecto, financiado por el Instituto Nacional de Ciberseguridad (INCIBE), aborda tres focos de vulnerabilidades en sistemas con inteligencia artificial. Por un lado la seguridad y privacidad de los datos, tanto los datos que utilizan los modelos de inteligencia artificial, como las capacidades que dan estos modelos y en las que podrían estar implicados datos de terceros.

En segundo lugar, las vulnerabilidades del propio sistema que pueden hacer que no funcione adecuadamente, como malware. Y el tercero, hacer que los sistemas que utilizan IA sean entendibles, tanto para usuarios, operadores y desarrolladores de forma que puedan proporcionar al usuario el contexto adecuado para usarlos correctamente.

Tal y como explica, el investigador principal de este proyecto en VRAIN y Catedrático de Universidad en la UPV, José Such, «la inteligencia artificial (IA) está teniendo un nivel de progreso y de impacto en la sociedad cada vez mayor. Muchos de los sistemas que usamos en la actualidad traen consigo algún modelo de IA para ofrecer características avanzadas que no estaban disponibles antes».

Y añade que este uso masivo de IA en sistemas «tiene muchos beneficios en términos de funcionalidad y comodidad, para hacer, en muchas ocasiones, tareas complejas o repetitivas de forma fácil y muy rápida».

Nuevos vectores de ataque

«Sin embargo, al tiempo que se introduce la IA estamos introduciendo nuevos vectores de ataque, como sucede casi siempre que se introducen nuevas tecnologías. Pero la gran mayoría de técnicas de IA se desarrollaron inicialmente sin considerar que podía haber adversarios que las atacaran o se aprovecharan de ellas cuando se embeben en sistemas», apunta.

Los resultados del proyecto permitirán conocer qué vulnerabilidades se introducen cuando se utiliza IA en los sistemas, y los mecanismos que se pueden poner en marcha para hacer estos sistemas lo más seguros posibles. El proyecto está liderado por el Human-Centred & AI Security, Ethics and Privacy (HASP) Lab (https://hasp-lab.github.io/) de VRAIN de la UPV.

Sprint, que arrancó en noviembre de 2023, tendrá una duración de dos años, hasta diciembre de 2025. Este proyecto es parte de un convenio entre Incibe y la Universitat Politècnica de València titulado incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU".