OpenAI frena cinco operaciones de influencia encubierta que utilizaban sus modelos para impulsar actividades engañosas

La compañía dirigida por Sam Altman ha compartido su compromiso de detectar e interrumpir operaciones de influencia encubiertas, con las que se intenta manipular la opinión pública o influir en resultados políticos, de cara a hacer cumplir sus políticas de prevención de abuso y mejorar la transparencia en torno al contenido generado por IA.

En este sentido, la tecnológica ha señalado que en los últimos tres meses ha interrumpido cinco OI encubiertas, con las que actores de amenazas intentaban utilizar sus modelos de IA para llevar a cabo actividades engañosas en Internet. Estas operaciones se han llevado a cabo desde Rusia, Irán e Israel y tenían como objetivo manipular la opinión pública.

Tras la intercepción de estas operaciones y como resultado de sus servicios, OpenAI ha señalado que, durante este mes de mayo, las campañas «no parecen haber aumentado significativamente la participación», así como tampoco se ha registrado un aumento en el alcance de su audiencia.

Tal y como ha explicado en un comunicado en su web, estas operaciones utilizaban los modelos de IA para distintos fines, como generar comentarios cortos y artículos largos en distintos idiomas, inventar nombres y biografías para las redes sociales, depurar código simple y traducir y corregir texto.

Asimismo, generaban contenido de diversos temas, relacionado con la invasión rusa de Ucrania, el conflicto en Gaza, las elecciones indias, la política en Europa y Estados Unidos e, incluso, las críticas por parte de gobiernos extranjeros y ciudadanos contrarios al Gobierno chino.

En concreto, una de las operaciones interceptadas ha sido la denominada Bad Grammar que, identificada con origen ruso, operaba principalmente en Telegram y tenía como objetivo usuarios en Ucrania, Moldavia, los Estados bálticos y Estados Unidos. Así, los actores maliciosos utilizaban la IA de OpenAI para depurar código y ejecutar un 'bot' de Telegram, todo ello con el objetivo de crear comentarios políticos breves en ruso e inglés, que luego se distribuían mediante la red social.

Otra de las OI encubiertas, también con origen en Rusia, es la ya conocida Doppelganger. En este caso, los actores maliciosos generaron comentarios en inglés, francés, alemán, italiano y polaco, que se publicaban en la red social X (antigua Twitter). Asimismo, también utilizaban los modelos de IA para traducir y editar artículos en inglés y francés publicados en sitios web vinculados a esta operación. Con ello, generaban titulares y convertían artículos de noticias en publicaciones de Facebook.

Lo mismo ocurre con la red china conocida como Spamouflage que, según ha matizado OpenAI, utilizó sus modelos para investigar la actividad de las redes sociales públicas, así como generar textos en idiomas como chino, inglés, japonés y coreano, que luego publicaban en X y Blogspot. En esta operación, los ciberdelincuentes también utilizaron la IA para depurar código, consiguiendo administrar bases de datos y sitios web.

Siguiendo esta línea, OpenAI también interceptó una OI encubierta del conocido grupo iraní Unión Internacional de Medios Virtuales (IUVM), que generó y tradujo artículos extensos, titulares y etiquetas de sitios web que, posteriormente, se publicaban en el sitio web vinculado a IUVM, iuvmpress[.]co.

Finalmente, la compañía tecnológica ha paralizado la actividad de la empresa comercial STOIC, afincada en Israel. Se trata de la operación a la que han denominado Zenón Cero, en la que se utilizaban los modelos de IA para generar artículos y comentarios que se publicaron en redes sociales como Instagram, Facebook, X y sitios web asociados con la empresa. No obstante, en el caso de este última, OpenAI ha puntualizado que ha logrado interrumpir la actividad de la operación, pero no la empresa STOIC.

Tendencias de los actores maliciosos

En base a las operaciones interceptadas y al trabajo de la comunidad de código abierto, OpenAI ha compartido algunas tendencias identificadas en relación a las actividades que están llevando a cabo los actores maliciosos, mediante el uso de modelos de IA.

Una de estas tendencias es generar contenido, principalmente texto, aunque también se han utilizado los servicios de IA para crear imágenes. De esta forma, se consiguen artículos o comentarios «con menos errores de idioma» que los que se hubieran cometido con operadores humanos, tal y como ha especificado la tecnológica.

Otro punto que ha subrayado OpenAI es que en todas estas operaciones se ha utilizado la IA hasta cierto punto, es decir, ningún actor malicioso utilizó exclusivamente los modelos, sino que acompañaban el contenido con textos escritos manualmente o memes copiados de Internet.

Además, también se ha identificado una tendencia a fingir participación, esto es, generar contenido exclusivamente para ayudar a crear la apariencia de que se trata de cuentas reales que participan en las redes sociales. Igualmente, las operaciones interceptadas también utilizaban los servicios de IA para mejorar la productividad, por ejemplo, resumiendo publicaciones.

Métodos de defensa

Frente a este tipo de operaciones de influencia encubierta, OpenAI ha subrayado que la IA también tiene capacidades de defensa para evitar que se lleven a cabo estos ataques maliciosos.

En este sentido, la tecnológica ha señalado que, por ejemplo, observaron «en repetidos casos» que sus modelos de IA se negaron a generar el texto o las imágenes que solicitaban los actores de las OI encubiertas. Igualmente, los modelos de OpenAI disponen de herramientas propias para hacer que la detección y análisis de este tipo de operaciones sean más efectivos. En concreto, en el caso de las OI encubiertas mencionadas anteriormente, la investigación se realizó durante días, en lugar de semanas o meses.

Además de todo ello, la tecnológica también ha compartido indicadores de amenazas detallados con otros socios de la industria, de cara a aumentar el impacto de las interrupciones de dichas operaciones.

OpenAI también ha sentenciado que, aunque la IA puede cambiar el conjunto de herramientas que utilizan los operadores humanos para llevar a cabo estas operaciones, no cambia a los propios operadores, que continúan cometiendo fallos con los que ayudan a identificar las OI encubiertas.

Con todo ello, la compañía liderada por Sam Altman ha aseverado que continuará trabajando para encontrar y mitigar este tipo de abuso a escala, aprovechando el poder de la IA generativa.