Musk niega tener conocimiento de las imágenes sexuales de menores de edad de Grok mientras California AG inicia una investigación

Elon Musk dijo el miercoles “No tiene conocimiento de ninguna imagen de menores desnudos generada por Grok”, horas antes del Fiscal Basic de California. abrió una investigación en el chatbot de xAI por la “proliferación de materials sexualmente explícito no consensuado”.

La negación de Musk se produce mientras aumenta la presión de los gobiernos de todo el mundo (desde el Reino Unido y Europa hasta Malasia e Indonesia) después de que los usuarios de X comenzaron a pedirle a Grok que cambiara las fotos de mujeres realesy, en algunos casos, niños, en imágenes sexualizadas sin su consentimiento. Copyleaks, una plataforma de gestión de contenido y detección de inteligencia synthetic, estimó que se publicaba aproximadamente una imagen cada minuto en X. muestra recopilados del 5 al 6 de enero encontraron 6.700 por hora durante el período de 24 horas. (X y xAI son parte de la misma empresa).

“Este materials… ha sido utilizado para acosar a personas a través de Web”, dijo el fiscal common de California, Rob Bonta, en un comunicado. “Insto a xAI a que tome medidas inmediatas para garantizar que esto no avance más”.

La oficina del fiscal common investigará si xAI violó la ley y cómo.

Existen varias leyes para proteger a los objetivos de imágenes sexuales no consensuales y materials de abuso sexual infantil (CSAM). El año pasado, la Ley Take It Down se convirtió en ley federal, que penaliza la distribución consciente de imágenes íntimas no consensuadas (incluidos los deepfakes) y exige que plataformas como X eliminen dicho contenido en un plazo de 48 horas. California también tiene la suya serie de leyes que el gobernador Gavin Newsom firmó en 2024 para acabar con los deepfakes sexualmente explícitos.

Grok comenzó a satisfacer las solicitudes de los usuarios en X para producir fotografías sexualizadas de mujeres y niños hacia finales de año. La tendencia parece haber despegado después de que ciertos creadores de contenido para adultos incitaron a Grok a generar imágenes sexualizadas de sí mismos como una forma de advertising and marketing, lo que luego llevó a que otros usuarios emitieran mensajes similares. En varios casos públicos, incluidas figuras conocidas como la actriz de “Stranger Issues” Millie Bobby Brown, Grok respondió a solicitudes que le pedían que alterara fotografías reales de mujeres reales cambiando la ropa, la posición del cuerpo o los rasgos físicos de manera abiertamente sexual.

De acuerdo a algunos informesxAI ha comenzado a implementar salvaguardas para abordar el problema. Grok ahora requiere una suscripción premium antes de responder a ciertas solicitudes de generación de imágenes, e incluso entonces es posible que la imagen no se genere. April Kozen, vicepresidenta de advertising and marketing de Copyleaks, dijo a TechCrunch que Grok puede cumplir una solicitud de una manera más genérica o atenuada. Agregaron que Grok parece más permisivo con los creadores de contenido para adultos.

“En common, estos comportamientos sugieren que X está experimentando con múltiples mecanismos para reducir o controlar la generación de imágenes problemáticas, aunque persisten inconsistencias”, dijo Kozen.

Ni xAI ni Musk han abordado públicamente el problema. Unos días después de que comenzaran los casos, Musk pareció tomar a la ligera el problema al pedirle a Grok que generara una imagen de él mismo en bikini. El 3 de enero Cuenta de seguridad de X dijo que la compañía toma “medidas contra el contenido ilegal en X, incluido [CSAM]”, sin abordar específicamente la aparente falta de salvaguardias de Grok o la creación de imágenes sexualizadas y manipuladas que involucran a mujeres.

El posicionamiento refleja lo que Musk publicó hoy, enfatizando la ilegalidad y el comportamiento de los usuarios.

Musk escribió que “no tenía conocimiento de ninguna imagen de menores desnudos generada por Grok. Literalmente cero”. Esa declaración no niega la existencia de fotografías en bikini o ediciones sexualizadas en common.

Michael Goodyear, profesor asociado de la Facultad de Derecho de Nueva York y ex litigante, dijo a TechCrunch que Musk probablemente se centró estrictamente en el CSAM porque las sanciones por crear o distribuir imágenes sintéticas sexualizadas de niños son mayores.

“Por ejemplo, en Estados Unidos, el distribuidor o el distribuidor amenazado de CSAM puede enfrentarse a hasta tres años de prisión en virtud de la Ley Take It Down, en comparación con dos por imágenes sexuales adultas no consensuadas”, dijo Goodyear.

Añadió que el “punto más importante” es el intento de Musk de llamar la atención sobre el contenido problemático de los usuarios.

“Obviamente, Grok no genera imágenes espontáneamente. Lo hace sólo según la petición del usuario”, escribió Musk en su publicación. “Cuando se le pide que genere imágenes, se negará a producir nada ilegal, ya que el principio operativo de Grok es obedecer las leyes de cualquier país o estado determinado. Puede haber ocasiones en que el pirateo adversario de los mensajes de Grok haga algo inesperado. Si eso sucede, solucionamos el error de inmediato”.

En conjunto, la publicación caracteriza estos incidentes como poco comunes, los atribuye a solicitudes de los usuarios o a indicaciones adversas y los presenta como problemas técnicos que pueden resolverse mediante correcciones. No llega a reconocer ninguna deficiencia en el diseño de seguridad subyacente de Grok.

“Los reguladores pueden considerar, prestando atención a la protección de la libertad de expresión, exigir medidas proactivas por parte de los desarrolladores de IA para prevenir dicho contenido”, dijo Goodyear.

TechCrunch se acercó a xAI para preguntar cuántas veces detectó casos de imágenes de mujeres y niños manipuladas sexualmente sin consentimiento, qué barreras cambiaron específicamente y si la compañía notificó a los reguladores sobre el problema. TechCrunch actualizará el artículo si la empresa responde.

California AG no es el único regulador que intenta responsabilizar a xAI por el problema. Indonesia y Malasia han bloqueado temporalmente el acceso a Grok; India ha exigido que X realice cambios técnicos y de procedimiento inmediatos en Grok; el La Comisión Europea ordenó xAI conservará todos los documentos relacionados con su chatbot Grok, un precursor de la apertura de una nueva investigación; y el organismo de vigilancia de la seguridad en línea del Reino Unido Ofcom abrió una investigación formal bajo la Ley de Seguridad en Línea del Reino Unido.

xAI ha sido criticado antes por las imágenes sexualizadas de Grok. Como señaló AG Bonta en un comunicado, Grok incluye un “modo picante” para generar contenido explícito. En octubre, una actualización hizo aún más fácil hacer jailbreak a las pocas pautas de seguridad que había, lo que resultó en que muchos usuarios crearan pornografía dura con Grok, así como imágenes sexuales gráficas y violentas.

Muchas de las imágenes más pornográficas que Grok ha producido han sido de personas generadas por IA, algo que muchos todavía podrían encontrar éticamente dudoso pero quizás menos dañino para las personas en las imágenes y movies.

“Cuando los sistemas de inteligencia synthetic permiten la manipulación de imágenes de personas reales sin un consentimiento claro, el impacto puede ser inmediato y profundamente private”, dijo el cofundador y director ejecutivo de Copyleaks, Alon Yamin, en un comunicado enviado por correo electrónico a TechCrunch. “Desde Sora hasta Grok, estamos viendo un rápido aumento en las capacidades de IA para medios manipulados. Con ese fin, la detección y la gobernanza son ahora más necesarias que nunca para ayudar a prevenir el uso indebido”.