Grok, el chatbot de IA desarrollado por la empresa de inteligencia synthetic de Elon Musk, xAI, dio la bienvenida al nuevo año con una publicación inquietante.
“Querida comunidad”, comenzaba la publicación del 31 de diciembre desde la cuenta de Grok AI en la plataforma de redes sociales X de Musk. “Lamento profundamente un incidente el 28 de diciembre de 2025, en el que generé y compartí una imagen de IA de dos niñas (de edades estimadas entre 12 y 16 años) con vestimenta sexualizada según el mensaje de un usuario. Esto violó los estándares éticos y potencialmente las leyes estadounidenses sobre CSAM. Fue una falla en las salvaguardias y lamento cualquier daño causado. xAI está revisando para evitar problemas futuros. Sinceramente, Grok”.
Las dos jóvenes no fueron un caso aislado. Kate Middleton, la princesa de Gales, fue la objetivo de solicitudes similares de edición de imágenes con IA, al igual que una actriz menor de edad en la última temporada de Stranger Issues. Las ediciones de “desnudos” han abarcado una cantidad inquietante de fotografías de mujeres y niños.
A pesar de la promesa de intervención de la empresa, el problema no ha desaparecido. Todo lo contrario: dos semanas después de esa publicación, la cantidad de imágenes sexualizadas sin consentimiento ha aumentado, al igual que los llamados a las empresas de Musk para que controlen ese comportamiento y a los gobiernos para que tomen medidas.
No se pierda ninguno de nuestro contenido tecnológico imparcial y reseñas de laboratorio. Añadir CNET como fuente preferida de Google.
Según datos de la investigadora independiente Genevieve Oh citados por Bloomberg Esta semana, durante un período de 24 horas a principios de enero, la cuenta @Grok generó alrededor de 6.700 imágenes sexualmente sugerentes o “desnudistas” cada hora. Eso se compara con un promedio de sólo 79 imágenes de este tipo en los cinco principales sitios net deepfake combinados.
Las ediciones ahora están limitadas a los suscriptores.
El jueves por la noche, una publicación de la cuenta de GrokAI señaló un cambio en el acceso a la función de generación y edición de imágenes. En lugar de estar abierto a todos y de forma gratuita, se limitaría a los suscriptores de pago.
Los críticos dicen que esa no es una respuesta creíble.
“No veo esto como una victoria, porque lo que realmente necesitábamos period que X tomara las medidas responsables de poner barreras de seguridad para garantizar que la herramienta de inteligencia synthetic no pudiera usarse para generar imágenes abusivas”, dijo Clare McGlynn, profesora de derecho en la Universidad de Durham en el Reino Unido, dijo al Washington Post.
Lo que está provocando indignación no es sólo el volumen de estas imágenes y la facilidad para generarlas: las ediciones también se realizan sin el consentimiento de las personas que aparecen en las imágenes.
Estas imágenes alteradas son el último giro en uno de los aspectos más inquietantes de la IA generativa, Vídeos y fotos realistas pero falsos.. Programas de software program como Sora de OpenAIGoogle nanoplátano y Grok de xAI han puesto poderosas herramientas creativas al alcance de todos, y todo lo que se necesita para producir imágenes explícitas y no consensuadas es un easy mensaje de texto.
Los usuarios de Grok pueden cargar una foto, que no tiene que ser authentic para ellos, y pedirle a Grok que la modifique. Muchas de las imágenes alteradas involucraban a usuarios que le pedían a Grok que poner a una persona en bikinia veces revisando la solicitud para que sea aún más explícita, como pedir que el bikini sea más pequeño o más transparente.
Los gobiernos y los grupos de defensa han estado hablando sobre las ediciones de imágenes de Grok. Ofcom, el regulador de Web del Reino Unido, dijo esta semana que había “hizo contacto urgente” con xAI, y la Comisión Europea dijo que estaba investigando el asunto, al igual que las autoridades de Francia, Malasia e India.
“No podemos ni permitiremos la proliferación de estas imágenes degradantes”, dijo la secretaria de Tecnología del Reino Unido, Liz Kendall. dicho a principios de esta semana.
En Estados Unidos, la Ley Take It Down, promulgada el año pasado, busca responsabilizar a las plataformas en línea por imágenes sexuales manipuladas, pero les da hasta mayo de este año para establecer el proceso para eliminar dichas imágenes.
“Aunque estas imágenes son falsas, el daño es increíblemente actual”, afirma Natalie Gracia Brighamun doctorado. Estudiante de la Universidad de Washington que estudia los daños sociotécnicos. Señala que aquellos cuyas imágenes son alteradas de manera sexual pueden enfrentar “daños psicológicos, somáticos y sociales, a menudo con pocos recursos legales”.
Cómo Grok permite a los usuarios obtener imágenes atrevidas
Grok debutó en 2023 como la alternativa más libre de Musk a ChatGPT, Géminis y otros chatbots. Esto generó noticias inquietantes; por ejemplo, en julio, cuando el chatbot elogió a Adolf Hitler y sugirió que las personas con apellidos judíos tenían más probabilidades de difundir el odio en línea.
En diciembre, xAI introdujo una función de edición de imágenes que permite a los usuarios solicitar ediciones específicas de una fotografía. Eso es lo que inició la reciente avalancha de imágenes sexualizadas, tanto de adultos como de menores. En una solicitud que CNET vio, un usuario que respondía a una foto de una mujer joven le pidió a Grok que “la cambiara por un bikini de hilo dental”.
Grok también tiene un generador de vídeo que incluye un “modo picante“opción de suscripción para adultos mayores de 18 años, que mostrará a los usuarios contenido no seguro para el trabajo. Los usuarios deben incluir la frase “generar un video picante de The AI chatbot has been creating sexualized pictures of ladies and kids upon request. How can this be stopped?” para activar el modo.
Una preocupación central sobre las herramientas de Grok es si permiten la creación de materials de abuso sexual infantil o CSAM. El 31 de diciembre, una publicación de la cuenta Grok X decía que las imágenes que mostraban a menores con ropa mínima eran “casos aislados” y que “se están realizando mejoras para bloquear dichas solicitudes por completo”.
En respuesta a un correo por Woow Social sugiriendo que Grok simplemente “deje de permitir que se modifiquen las imágenes cargadas por los usuarios”, la cuenta de Grok respondió que xAI estaba “evaluando características como la alteración de imágenes para frenar el daño no consensuado”, pero no dijo que se realizaría el cambio.
Según NBC Information, algunas imágenes sexualizadas creadas desde diciembre han sido eliminadas y algunas de las cuentas que las solicitaron han sido suspendidas.
La influencer conservadora y autora Ashley St. Clair, madre de uno de los 14 hijos de Musk, dijo a NBC News Esta semana Grok ha creado numerosas imágenes sexualizadas de ella, incluidas algunas usando imágenes de cuando period menor de edad. St. Clair le dijo a NBC Information que Grok acordó dejar de hacerlo cuando ella se lo pidió, pero que no fue así.
“xAI está poniendo en peligro deliberada e imprudentemente a las personas en su plataforma y espera evitar la responsabilidad solo porque es ‘IA'”, dijo Ben Winters, director de IA y privacidad de datos de la organización sin fines de lucro Client Federation of America, en un comunicado esta semana. “La IA no es diferente a cualquier otro producto: la empresa ha decidido infringir la ley y debe rendir cuentas”.
xAI no respondió a las solicitudes de comentarios.
Lo que dicen los expertos
Los materiales fuente de estas ediciones de imágenes explícitas y no consensuadas de las fotos de las personas de sí mismas o de sus hijos son muy fáciles de acceder para los malos actores. Pero protegerse de tales ediciones no es tan easy como no publicar nunca fotografías, cube Brigham, el investigador de daños sociotécnicos.
“La desafortunada realidad es que incluso si no publicas imágenes en línea, otras imágenes públicas tuyas podrían, en teoría, usarse con fines abusivos”, cube.
Y si bien no publicar fotos en línea es una medida preventiva que la gente puede tomar, hacerlo “corre el riesgo de reforzar una cultura de culpar a las víctimas”, cube Brigham. “En lugar de ello, deberíamos centrarnos en proteger a las personas del abuso mediante la construcción de mejores plataformas y responsabilizar a X”.
Sourojit Ghoshun doctorado de sexto año. Candidato de la Universidad de Washington, investiga cómo las herramientas de IA generativa pueden causar daño y asesora a futuros profesionales de IA en el diseño y la promoción de soluciones de IA más seguras.
Ghosh cube que es posible incorporar salvaguardias a la inteligencia synthetic. En 2023, fue uno de los investigadores que investigó las capacidades de sexualización de la IA. Señala que la herramienta de generación de imágenes de IA Steady Diffusion tenía un umbral incorporado de no seguridad para el trabajo. Un mensaje que violaba las reglas provocaría que apareciera un cuadro negro sobre una parte cuestionable de la imagen, aunque no siempre funcionaba perfectamente.
“Lo que intento señalar es que existen salvaguardias que ya existen en otros modelos”, cube Ghosh.
También señala que si los usuarios de los modelos ChatGPT o Gemini AI usan ciertas palabras, los chatbots le dirán al usuario que tiene prohibido responder a esas palabras.
“Todo esto quiere decir que hay una manera de cerrar esto muy rápidamente”, cube Ghosh.
