La popularidad de los sistemas de inteligencia artificial ha generado, además de múltiples oportunidades para generar negocios online, inconvenientes para controlar el uso de aquellas que tienen capacidades generativas como la producción de imágenes e incluso ‘deep fake’ altamente realistas y que podrían ser creados con malas intenciones por usuarios abusivos.

La plataforma conocida como “Civitai” estaría impulsando la creación de imágenes digitales entre los usuarios de la aplicación. El problema se encuentra en que las personas que son el blanco de este sistema de recompensas, que son mayoritariamente mujeres, y no dan su consentimiento para esta práctica y el resultado de las ediciones, en varios casos, realmente está orientado a la pornografía y el acoso.

El sistema de “Civitai”, llamado “bounties” (recompensas), invita a su comunidad de usuarios a participar de una especie de “concurso” en el que un usuario propone la creación de una fotografía deep fake de una persona (sin importar que sea famosa o no).

Todos los miembros estarán encargados del desarrollo de piezas diversas, pero solo aquella más “convincente” o realista será la ganadora de monedas virtuales llamadas “Buzz” que se pueden comprar con dinero real, por lo que el beneficio económico de los creadores es posible, aunque en realidad el precio de estos tokens es muy reducido: 1.000 unidades se adquieren con el pago de un dólar.

Según Michele Alves, una influencer de Instagram que habló con un medio llamado “404″, ella también registra un “recompensa” en esta aplicación. “Por años he tenido problemas con el uso indebido de mi imagen y esto nunca cruzó por mi mente (…) No sé qué medidas tomar porque internet aprece un lugar fuera de control”, aseguró. Además añadió que en general lo único que ha podido hacer hasta el momento ha sido gestionar cómo este uso de su rostro y su figura la afecta emocionalmente.

La gravedad de estas acciones alentadas por “Civitai” es que no se trata de un software cualquiera, sino que según la empresa de análisis de mercado “Andreessen Horowitz”, esta es la séptima aplicación más popular entre los usuarios recurrentes de esta tecnología onlline.

Además, no cuestiona las intenciones de los usuarios que solicitan las ediciones deep fakes de las personalidades online. Cualquier persona podría encontrar su fotografía alterada en esta plataforma si alguien interesado en ese contenido lo solicita a la comunidad. No es necesario que el solicitante sea un amigo, familiar o siquiera conocido del usuario al que se le quiere crear una imagen con inteligencia artificial.

El reporte de “404″ indicó que uno de los usuarios que había solicitado la edición de fotografías de una mujer lo hacía pues en realidad era su esposa, aunque una revisión de sus redes sociales indicaba que era soltero, por lo que los fines detrás del pedido podrían ser variados e incluso llegar a ser nocivos.

Las consecuencias no solo se limitan a que las víctimas de mal uso de la inteligencia artificial generativa que pueden verse a sí mismas representadas de formas inadecuadas o no consentidas, sino que además cualquier otro usuario de la plataforma, independientemente de si solicitó la edición o no, puede acceder a estos datos y generar modelos propios sin necesidad de conocer de quién se trata.

Por el momento, los usuarios no pueden realizar denuncias oficiales en la plataforma a causa del uso inadecuado de su imagen, lo que significa que nadie puede (a día de hoy) eliminar sus fotografías de esta aplicación a no ser que sea el propio creador de la recompensa.

“Civitai” no se ha pronunciado por el uso inadecuado de fotografías y los abusos que puedan cometer sus usuarios.