PyE
«¿Quieres verte actuando en una película o en televisión?» decía la descripción de una aplicación en las tiendas en línea, que ofrece a los usuarios la oportunidad de crear medios sintéticos generados por IA, también conocidos como deepfakes.
«¿Quieres ver a tu mejor amigo, colega o jefe bailando?» añadió. «¿Alguna vez te has preguntado cómo te verías si tu rostro cambiara al de tu amigo o al de una celebridad?»
La misma aplicación se publicitó de manera diferente en docenas de sitios para adultos: «Crea pornografía deepfake en un segundo», decían los anuncios. «Deepfake a cualquiera».
La forma en que se aplica la tecnología cada vez más sofisticada es una de las complejidades que enfrenta el software de medios sintéticos, donde el aprendizaje automático se utiliza para modelar digitalmente rostros a partir de imágenes y luego intercambiarlas en películas de la manera más fluida posible.
La tecnología, de apenas cuatro años, puede estar en un punto crucial, según entrevistas de Reuters con empresas, investigadores, políticos y activistas.
Ahora es lo suficientemente avanzado como para que los espectadores en general tengan dificultades para distinguir muchos videos falsos de la realidad, dijeron los expertos, y ha proliferado hasta el punto de que está disponible para casi cualquier persona que tenga un teléfono inteligente, sin necesidad de especialización.
«Una vez que el punto de entrada es tan bajo que no requiere ningún esfuerzo, y una persona poco sofisticada puede crear un video pornográfico deepfake no consensuado muy sofisticado, ese es el punto de inflexión», dijo Adam Dodge, abogado y fundador de la seguridad en línea. empresa EndTab.
«Ahí es donde empezamos a meternos en problemas».
Con el genio de la tecnología fuera de la botella, muchos activistas de seguridad en línea, investigadores y desarrolladores de software dicen que la clave es garantizar el consentimiento de quienes están siendo simulados, aunque es más fácil decirlo que hacerlo. Algunos abogan por adoptar un enfoque más estricto cuando se trata de pornografía sintética, dado el riesgo de abuso.
La pornografía deepfake no consensuada representó el 96 por ciento de un estudio de muestra de más de 14.000 videos deepfake publicados en línea, según un informe de 2019 de Sensity, una empresa que detecta y monitorea medios sintéticos. Agregó que la cantidad de videos deepfake en línea se duplicaba aproximadamente cada seis meses.
«La gran, gran mayoría del daño causado por los deepfakes en este momento es una forma de violencia digital de género», dijo Ajder, uno de los autores del estudio y director de políticas y asociaciones de la empresa de inteligencia artificial Metaphysic, y agregó que su investigación indicó que millones de las mujeres han sido blanco de ataques en todo el mundo.
En consecuencia, hay una «gran diferencia» entre si una aplicación se comercializa explícitamente como una herramienta pornográfica o no, dijo.
APLICACIÓN AD NETWORK AXES
ExoClick, la red de publicidad en línea que fue utilizada por la aplicación «Make deepfake porn in a sec», dijo a Reuters que no estaba familiarizado con este tipo de software de intercambio facial de inteligencia artificial. Dijo que había suspendido la aplicación para que no publicara anuncios y que no promovería la tecnología de intercambio de rostros de manera irresponsable.
«Este es un tipo de producto que es nuevo para nosotros», dijo Bryan McDonald, jefe de cumplimiento de anuncios de ExoClick, que, al igual que otras grandes redes publicitarias, ofrece a los clientes un panel de sitios que pueden personalizar ellos mismos para decidir dónde colocar los anuncios.
«Después de revisar el material de marketing, determinamos que la redacción utilizada en el material de marketing no es aceptable. Estamos seguros de que la gran mayoría de los usuarios de este tipo de aplicaciones las utilizan para entretenimiento sin malas intenciones, pero reconocemos que también podría ser utilizado con fines maliciosos «.
Otras seis grandes redes publicitarias en línea a las que se acercó Reuters no respondieron a las solicitudes de comentarios sobre si habían encontrado software deepfake o si tenían una política al respecto.
No se menciona el posible uso pornográfico de la aplicación en su descripción en la App Store de Apple o en la Play Store de Google, donde está disponible para cualquier persona mayor de 12 años.
Apple dijo que no tenía reglas específicas sobre las aplicaciones deepfake, pero que sus pautas más amplias prohibían las aplicaciones que incluyan contenido difamatorio, discriminatorio o que pueda humillar, intimidar o dañar a alguien.
Agregó que a los desarrolladores se les prohibió comercializar sus productos de manera engañosa, dentro o fuera de la App Store, y que estaba trabajando con la compañía de desarrollo de la aplicación para asegurarse de que cumplieran con sus pautas.
Google no respondió a las solicitudes de comentarios. Después de ser contactado por Reuters sobre los anuncios de «pornografía deepfake» en sitios para adultos, Google eliminó temporalmente la página de Play Store para la aplicación, que había sido calificada como E para todos. La página se restauró después de aproximadamente dos semanas, con la aplicación ahora calificada como T para adolescentes debido a «Contenido sexual».
FILTROS Y MARCAS DE AGUA
Si bien hay malos actores en la creciente industria del software de intercambio de caras, existe una amplia variedad de aplicaciones disponibles para los consumidores y muchas toman medidas para tratar de prevenir el abuso, dijo Ajder, quien defiende el uso ético de los medios sintéticos como parte del programa. Grupo industrial de futuros sintéticos.
Algunas aplicaciones solo permiten a los usuarios intercambiar imágenes en escenas preseleccionadas, por ejemplo, o requieren la verificación de identificación de la persona que se intercambia, o usan inteligencia artificial para detectar cargas de pornografía, aunque estas no siempre son efectivas, agregó.
Reface es una de las aplicaciones de intercambio de rostros más populares del mundo, ya que atrajo más de 100 millones de descargas en todo el mundo desde 2019, y se alienta a los usuarios a intercambiar rostros con celebridades, superhéroes y personajes de memes para crear videos divertidos.
La compañía con sede en EE. UU. Dijo a Reuters que estaba usando la moderación automática y humana del contenido, incluido un filtro de pornografía, además de que tenía otros controles para evitar el uso indebido, incluido el etiquetado y las marcas de agua visuales para marcar videos como sintéticos.
«Desde el comienzo de la tecnología y el establecimiento de Reface como empresa, se ha reconocido que la tecnología de medios sintéticos podría ser abusada o mal utilizada», dijo.
‘SOLO PERPETRADOR RESPONSABLE’
El creciente acceso de los consumidores a la computación potente a través de los teléfonos inteligentes va acompañado de avances en la tecnología deepfake y la calidad de los medios sintéticos.
Por ejemplo, el fundador de EndTab, Dodge, y otros expertos entrevistados por Reuters dijeron que en los primeros días de estas herramientas en 2017, requerían una gran cantidad de entrada de datos que a menudo totalizaban miles de imágenes para lograr el mismo tipo de calidad que se podría producir hoy a partir de solo una imagen.
«Con la calidad de estas imágenes volviéndose tan alta, las protestas de ‘¡No soy yo!’ no son suficientes, y si se parece a usted, entonces el impacto es el mismo que si fuera usted «, dijo Sophie Mortimer, gerente de la línea de ayuda Revenge Porn, con sede en Reino Unido.
Los formuladores de políticas que buscan regular la tecnología deepfake están logrando avances irregulares, y también se enfrentan a nuevos problemas técnicos y éticos.
En algunas jurisdicciones, incluidas China, Corea del Sur y California, se han aprobado leyes específicamente dirigidas al abuso en línea mediante el uso de tecnología deepfake, donde representar maliciosamente a alguien en pornografía sin su consentimiento o distribuir dicho material puede conllevar daños legales por valor de 150.000 dólares estadounidenses.
«Todavía falta una intervención legislativa específica o la criminalización de la pornografía deepfake», dijeron investigadores del Parlamento Europeo en un estudio presentado a un panel de legisladores en octubre que sugirió que la legislación debería generar una red más amplia de responsabilidad para incluir actores como desarrolladores o distribuidores. así como abusadores.
«Tal como está hoy, solo el perpetrador es responsable. Sin embargo, muchos perpetradores hacen todo lo posible para iniciar tales ataques a un nivel tan anónimo que ni las fuerzas del orden ni las plataformas pueden identificarlos».
Marietje Schaake, directora de políticas internacionales del Centro de Políticas Cibernéticas de la Universidad de Stanford y ex miembro del parlamento de la UE, dijo que las nuevas leyes digitales amplias, incluida la Ley de IA propuesta en los Estados Unidos y el RGPD en Europa, podrían regular elementos de la tecnología deepfake, pero que había brechas.
«Si bien puede parecer que hay muchas opciones legales que perseguir, en la práctica es un desafío para una víctima tener el poder de hacerlo», dijo Schaake.
«El proyecto de Ley de IA que se está considerando prevé que el contenido manipulado debe ser divulgado», agregó.
«Pero la pregunta es si estar consciente hace lo suficiente para detener el impacto dañino. Si la viralidad de las teorías de la conspiración es un indicador, la información que es demasiado absurda para ser verdad todavía puede tener un impacto social amplio y dañino».
(Reporte de Shane Raymond; Editado por Hazel Baker y Pravin Char)
