IA sin ética: Civitai y la peligrosa tendencia de los deepfakes no consensuados

La creciente popularidad de los sistemas de inteligencia artificial (IA) trajo consigo múltiples oportunidades de negocios en internet, pero también generó varias preocupaciones en cuanto al control y la ética en su uso. Uno de los problemas más recientes fue el de la plataforma de IA conocida como “Civitai”, la cual estaría promoviendo la creación de imágenes digitales, incluyendo los conocidos “deepfakes” altamente realistas, entre sus usuarios.

El sistema de recompensas de Civitai, llamado “bounties”, invita a los usuarios a participar en concursos donde se propone la creación de fotografías deepfake de personas, famosas o no. Sin embargo, el problema radica en que muchas de estas personas que son el blanco de estas recompensas, mayoritariamente mujeres, jamás dieron su consentimiento para esta práctica. En varios casos, las imágenes terminan siendo utilizadas para fines como la pornografía y el acoso.

Aunque los creadores pueden beneficiarse económicamente a través de la obtención de monedas virtuales llamadas “buzz”, el precio de estos tokens es mínimo. La falta de medidas para proteger la privacidad y seguridad de los usuarios generó varias preocupaciones, especialmente después de que se revelara que Civitai es la séptima aplicación más popular entre los usuarios de la IA.

El problema se agravó por el hecho de que Civitai no cuestiona las intenciones de los usuarios que solicitan las ediciones deepfakes, lo que aumenta el riesgo de abuso y explotación. Además, cualquier persona puede encontrar su fotografía alterada en esta plataforma si alguien interesado en ese contenido lo solicita a la comunidad, sin necesidad de conocer a la persona afectada.

Hasta ahora, los usuarios no pueden denunciar dentro de la plataforma por el uso inadecuado de su imagen, lo que significa que nadie puede eliminar sus fotografías de la aplicación, a menos que sea el propio creador. A pesar de las quejas que se han presentado, Civitai continúa sin emitir comentarios al respecto.