Bumble introduce una herramienta basada en IA que detecta desnudos y contenido inapropiado en los chats

La compañía anunció a finales de abril que estaba desarrollando una especie de filtro, Private Detector, que estaría integrado en Bumble y que avisaría a los usuarios en caso de sospechar de que una fotografía fuera lasciva.

Entonces, dijo que esta funcionalidad trabajaría con algoritmos y que había sido entrenada por IA para capturar imágenes en tiempo real y determinar con un 98 por ciento su contienen desnudos o contenidos sexuales explícitos.

Ahora la compañía ha anunciado el lanzamiento de una versión de código abierto de esta funcionalidad, con la que espera «ayudar a la comunidad tecnológica a combatir el cyberflashing», según ha apuntaod en un comunicado publicado a través de su blog.

Se conoce como cyberflashing a la práctica consistente en el envío de imágenes obscenas o vídeos sexuales no consentidos a través de estas plataformas de mensajería y se considera un tipo de violencia digital.

Bumble espera frenar esta práctica con Private Detector, una funcionalidad con la que busca añadir una nueva capa de seguridad a esta aplicación de citas en línea para 'smartphones', según el documento.

La compañía ha subrayado que esta herramienta se estrena utilizando conjuntos de datos de alto volumen, mediante los cuales busca distinguir las muestras sin contenido lascivo «para reflejar mejor los casos extremos y otras partes del ser humano» y que su sistema de aprendizaje automático ('machine learning') no los marque como abusivos o susceptibles de ser prohibidos.

De esta forma, sus sistema será capaz de detectar qué imágenes debe borrar de la plataforma, como pueden ser desnudos, fotos de partes íntimas, personas sin camiseta e, incluso armas; y cuáles debe mantener.

Las fotografías que Private Detector haya determinado como inapropiadas, se mostrarán difuminadas en la aplicación, por lo que los receptores de esas imágenes podrán elegir si verla (pulsando sobre las imágenes de forma prolongada), bloquearla o bien denunciar a la persona que la envió.

La compañía ha adelantado que este sistema basado en IA está disponible para todos los interesados y es de código abierto, por lo que se puede descargar a través de GitHub para implementarlo en otras páginas web o servicios.