El problema de los deepfakes sexualizados y no consensuados del mundo de la tecnología ahora es más grande que solo X.
en un carta A los líderes de X, Meta, Alphabet, Snap, Reddit y TikTok, varios senadores estadounidenses les piden a las empresas que presenten pruebas de que cuentan con “protecciones y políticas sólidas” y que expliquen cómo planean frenar el aumento de deepfakes sexualizados en sus plataformas.
Los senadores también exigieron que las empresas conserven todos los documentos e información relacionados con la creación, detección, moderación y monetización de imágenes sexualizadas generadas por IA, así como cualquier política relacionada.
La carta llega horas después de que X la dijera. Grok actualizado prohibirle realizar ediciones de personas reales con ropa reveladora y restringir la creación y edición de imágenes a través de Grok a suscriptores de pago. (X y xAI son parte de la misma empresa).
Señalando los informes de los medios sobre cómo fácilmente y a menudo Grok generó imágenes sexualizadas y desnudas de mujeres y niños, los senadores señalaron que las barreras de seguridad de las plataformas para evitar que los usuarios publiquen imágenes sexualizadas y no consensuadas pueden no ser suficientes.
“Reconocemos que muchas empresas mantienen políticas contra las imágenes íntimas no consensuales y la explotación sexual, y que muchos sistemas de inteligencia synthetic afirman bloquear la pornografía explícita. Sin embargo, en la práctica, como se ve en los ejemplos anteriores, los usuarios están encontrando formas de sortear estas barreras. O estas barreras están fallando”, se lee en la carta.
Grok, y en consecuencia X, han sido duramente criticados por permitir esta tendencia, pero otras plataformas no son inmunes.
Evento tecnológico
san francisco
|
13-15 de octubre de 2026
Los deepfakes ganaron popularidad por primera vez en Reddit, cuando una página que mostraba Vídeos porno sintéticos de famosos. se volvió viral antes de que la plataforma lo eliminara en 2018. Los deepfakes sexualizados dirigidos a celebridades y políticos han multiplicado en TikTok y YouTubeaunque normalmente tienen su origen en otros lugares.
La Junta de Supervisión de Meta criticó el año pasado dos casos de imágenes explícitas de IA de figuras públicas femeninas, y la plataforma también ha permitido que las aplicaciones nudify vendan anuncios en sus servicios, aunque no demandar a una empresa llamada CrushAI más tarde. Ha habido múltiples informes de Niños que difunden deepfakes de sus compañeros en Snapchat. Y Telegram, que no está incluida en la lista de senadores, también se ha hecho famosa por Bots de alojamiento diseñados para desnudar fotos. de mujeres.
En respuesta a la carta, X señaló su anuncio con respecto a su actualización a Grok.
“No permitimos ni permitiremos ningún medio íntimo no consensuado (NCIM) en Reddit, no ofrecemos ninguna herramienta capaz de crearlo y tomamos medidas proactivas para encontrarlo y eliminarlo”, dijo un portavoz de Reddit en un comunicado enviado por correo electrónico. “Reddit prohíbe estrictamente NCIM, incluidas las representaciones que han sido falsificadas o generadas por IA. También prohibimos solicitar este contenido a otros, compartir enlaces para “nudificar” aplicaciones o discutir cómo crear este contenido en otras plataformas”, añadió el portavoz.
Alphabet, Snap, TikTok y Meta no respondieron de inmediato a las solicitudes de comentarios.
La carta exige que las empresas proporcionen:
- Definiciones de políticas de contenido “deepfake”, “imágenes íntimas no consensuadas” o términos similares.
- Descripciones de las políticas de las empresas y el enfoque de aplicación de la ley para falsificaciones profundas no consensuadas de IA de cuerpos de personas, fotografías sin desnudos, ropa alterada y “desnudo digital”.
- Descripciones de las políticas de contenido actuales que abordan medios editados y contenido explícito, así como orientación interna proporcionada a los moderadores.
- Cómo las políticas actuales gobiernan las herramientas de inteligencia synthetic y los generadores de imágenes en relación con contenido sugerente o íntimo.
- Qué filtros, barreras de seguridad o medidas se han implementado para evitar la generación y distribución de deepfakes.
- Qué mecanismos utilizan las empresas para identificar contenidos deepfake y evitar que se vuelvan a cargar.
- Cómo impiden que los usuarios se beneficien de dicho contenido.
- Cómo las plataformas evitan monetizar contenido no consensuado generado por IA.
- Cómo los términos de servicio de las empresas les permiten prohibir o suspender a los usuarios que publican deepfakes.
- Qué hacen las empresas para notificar a las víctimas de deepfakes sexuales no consensuales.
La carta está firmada por los senadores Lisa Blunt Rochester (D-Del.), Tammy Baldwin (D-Wis.), Richard Blumenthal (D-Conn.), Kirsten Gillibrand (D-Y.), Mark Kelly (D-Ariz.), Ben Ray Luján (D-M.), Brian Schatz (D-Hawaii) y Adam Schiff (D-Calif.).
La medida se produce apenas un día después de que el propietario de xAI, Elon Musk, dijera que “no tenía conocimiento de ninguna imagen de menores desnudos generada por Grok”. Más tarde el miércoles, el fiscal normal de California abrió una investigación en el chatbot de xAI, luego de la creciente presión de los gobiernos de todo el mundo indignados por la falta de barreras de seguridad alrededor de Grok que permitieron que esto sucediera.
xAI tiene mantenido que toma medidas para eliminar “contenido ilegal en X, incluido [CSAM] y desnudez no consensuada”, aunque ni la compañía ni Musk han abordado el hecho de que a Grok se le permitió generar tales ediciones en primer lugar.
El problema tampoco se limita a imágenes sexualizadas manipuladas y no consensuadas. Si bien no todos los servicios de generación y edición de imágenes basados en IA permiten a los usuarios “desnudar” a las personas, sí permiten generar deepfakes fácilmente. Por citar algunos ejemplos, Sora 2 de OpenAI supuestamente permitió a los usuarios generar videos explícitos presentando niños; Nano Banana de Google aparentemente generado una imagen que muestra a Charlie Kirk recibiendo un disparo; y vídeos racistas creados con el modelo de video AI de Google están obteniendo millones de visitas en las redes sociales.
La cuestión se vuelve aún más compleja cuando los generadores de imágenes y vídeos chinos entran en escena. Muchas empresas y aplicaciones tecnológicas chinas (especialmente aquellas vinculadas a ByteDance) ofrecen formas sencillas de editar rostros, voces y vídeos, y esos resultados se han extendido a las plataformas sociales occidentales. China tiene requisitos de etiquetado de contenido sintético más estrictos que no existen en los EE. UU. a nivel federal, donde las masas dependen en cambio de políticas fragmentadas y dudosamente aplicadas desde las propias plataformas.
Los legisladores estadounidenses ya han aprobado algunas leyes que buscan frenar la pornografía ultrafalsa, pero el impacto ha sido limitado. La Ley Take It Down, que se convirtió en ley federal en mayo, tiene como objetivo penalizar la creación y difusión de imágenes sexualizadas no consensuadas. Pero una serie de disposiciones de la ley dificultan responsabilizar a las plataformas de generación de imágenes, ya que centran la mayor parte del escrutinio en los usuarios individuales.
Mientras tanto, varios estados están tratando de tomar el asunto en sus propias manos para proteger a los consumidores y las elecciones. Esta semana, La gobernadora de Nueva York, Kathy Hochul, propuso leyes eso requeriría que el contenido generado por IA sea etiquetado como tal y prohibiría los deepfakes no consensuados en períodos específicos previos a las elecciones, incluidas las representaciones de candidatos de la oposición.
