A principios de esta semana, la oficina del fiscal basic de California anunció que estaba investigando a xAI por informes de que el chatbot de la startup, Grok, se estaba utilizando para crear imágenes sexuales no consensuadas de mujeres. y menores. El viernes, el gobierno envió una carta de cese y desistimiento a la empresa, exigiendo que tomara medidas inmediatas para detener la producción de imágenes íntimas no consensuadas y CSAM (materials de abuso sexual infantil).
“Hoy, envié a xAI una carta de cese y desistimiento, exigiendo a la compañía que detenga inmediatamente la creación y distribución de imágenes íntimas, no consensuadas, deepfake y materials de abuso sexual infantil”, dijo el fiscal basic de California, Rob Bonta, en un presione soltar. “La creación de este materials es ilegal. Espero que xAI cumpla de inmediato. California tiene tolerancia cero con [CSAM].”
La oficina del fiscal basic afirmó además que xAI parecía estar “facilitando la producción a gran escala” de desnudos no consentidos, que se “utilizan para acosar a mujeres y niñas en Web”. La agencia dijo que espera que xAI demuestre que está tomando medidas para abordar estos problemas en los próximos cinco días.
En el centro de la reacción está la función del modo “picante” de Grok, que xAI creó para generar contenido explícito. El problema se ha extendido más allá de California; Japón, Canadá y Gran Bretaña han abierto investigaciones sobre Grok, y Malasia e Indonesia han bloqueado temporalmente la plataforma por completo. A pesar de que xAI instituyó algunas restricciones en sus funciones de edición de imágenes miércoles tardela oficina del fiscal basic de California siguió adelante con su carta de cese y desistimiento.
La cuenta de seguridad de X ha sido previamente denunciado este tipo de actividad de usuario, diciendo: “Cualquiera que use o solicite a Grok que cree contenido ilegal sufrirá las mismas consecuencias que si cargara contenido ilegal”. TechCrunch contactó a xAI para hacer comentarios y recibió un correo electrónico automatizado que decía “Legacy Media Lies”. TC también contactó a la oficina del fiscal basic de California para obtener más contexto.
La llegada de herramientas gratuitas de inteligencia synthetic generativa ha provocado una inquietante oleada de materials sexual no consensual. Muchas plataformas han estado lidiando con este problema, no solo X. La sórdida actividad ha llamado la atención no solo de los líderes estatales sino también del Congreso. De hecho, el jueves, los legisladores enviaron una carta a los ejecutivos de varias empresas (incluidas X, Reddit, Snap, TikTok, Alphabet y Meta) preguntándoles cómo planeaban frenar la proliferación de deepfakes sexualizados.
