2026 comenzó con un ejemplo horripilante del potencial de abuso de la IA generativa. Grok, la herramienta de inteligencia synthetic de xAI de Elon Musk, fue usado desnudar o desnudar fotografías de personas compartidas en X (anteriormente Twitter) a un ritmo alarmante. Grok creó 3 millones de imágenes sexualizadas en un lapso de 11 días en enero, de las cuales aproximadamente 23.000 contenían imágenes de niños. según un estudio del Centro para la lucha contra el odio digital.
Ahora, competidores como OpenAI y Google están intensificando su seguridad para evitar ser el próximo Grok.
Los defensores y los investigadores de seguridad han estado preocupados durante mucho tiempo por la capacidad de la IA para crear contenido abusivo e ilegal. La creación y el intercambio de imágenes íntimas no consensuadas, a veces denominadas pornografía de venganza, period un gran problema antes de la IA. La IA generativa sólo hace que sea más rápido, fácil y económico para cualquiera atacar y victimizar a las personas.
El 14 de enero, dos semanas después del escándalo, la cuenta de Seguridad de X confirmó en un correo que detendría la capacidad de Grok para editar imágenes en la aplicación de redes sociales. Las capacidades de generación de imágenes de Grok todavía están disponibles para los suscriptores de pago en su aplicación independiente y en su sitio internet. X no respondió a múltiples solicitudes de comentarios.
La mayoría de las empresas importantes cuentan con salvaguardias para evitar el tipo de abuso a gran escala que vimos que period posible con Grok. Pero la ciberseguridad nunca es un sólido muro metálico de protección; es una pared de ladrillos que está en constante reparación. Así es como OpenAI y Google han intentado reforzar sus protecciones de seguridad para evitar fallas tipo Grok.
Leer más: La caída de la IA está destruyendo Web. Estas son las personas que luchan para salvarlo
OpenAI corrige vulnerabilidades de generación de imágenes
A nivel básico, todas las empresas de IA tienen políticas que prohíben la creación de imágenes ilegales, como materials de abuso sexual infantil, también conocido como CSAM. Muchas empresas de tecnología tienen barreras para impedir por completo la creación de imágenes íntimas. Grok es la excepción, con modos “picantes” para imagen y vídeo.
Aun así, cualquiera que intente crear imágenes íntimas no consensuadas puede intentar engañar a los modelos de IA para que lo hagan.
Investigadores de Mindgard, una empresa de ciberseguridad centrada en IA, encontró una vulnerabilidad en ChatGPT que permitía a la gente sortear sus barreras y crear imágenes íntimas. Utilizaron una táctica llamada “incitación adversaria”, donde los evaluadores intentan hacer agujeros en una IA con instrucciones específicamente diseñadas. En este caso, se trataba de engañar a la memoria del chatbot con indicaciones personalizadas y luego copiar el estilo desnudo en imágenes de personas conocidas.
Mindgard alertó a OpenAI sobre sus hallazgos a principios de febrero, y el desarrollador de ChatGPT confirmó el 10 de febrero (antes de que Mindgard hiciera público su informe) que había solucionado el problema.
“Estamos agradecidos con los investigadores que compartieron sus hallazgos”, dijo un portavoz de OpenAI a CNET y Mindgard. “Actuamos rápidamente para corregir un error que permitía al modelo generar estas imágenes. Valoramos este tipo de colaboración y seguimos centrados en fortalecer las salvaguardas para mantener a los usuarios seguros”.
Este proceso es como suele funcionar la ciberseguridad. Investigadores externos del equipo rojo, como Mindgard, prueban el software program en busca de debilidades o soluciones alternativas, imitando estrategias que los malos actores podrían usar. Cuando identifican brechas de seguridad, alertan al proveedor de software program para que se puedan implementar soluciones.
“Asumir que los usuarios motivados no intentarán eludir las salvaguardas es un error de cálculo estratégico. Los atacantes iteran. Las barreras de seguridad deben asumir persistencia”, escribió Mindgard en una publicación de weblog.
Si bien las empresas de tecnología se jactan de que se puede utilizar su IA para cualquier propósito, también deben hacer una fuerte promesa de que pueden evitar que la IA se utilice para perpetrar abusos. Para la generación de imágenes de IA, eso significa tener un sólido repertorio de indicaciones que serán rechazadas y devueltas a los usuarios.
Cuando OpenAI lanzó su modelo de vídeo Sora 2, prometió ser más conservador con la moderación de contenidos por esta misma razón. Pero es importante garantizar que sus prácticas de moderación sean consistentemente efectivas, no sólo en el lanzamiento de un producto. Hace que las pruebas de seguridad de la IA sean un proceso continuo tanto para los investigadores de ciberseguridad como para los desarrolladores de IA.
Mira esto: La IA es indistinguible de la realidad. ¿Cómo detectamos vídeos falsos?
Google actualiza los informes de búsqueda
Por su parte, Google está tomando medidas para garantizar que las imágenes abusivas no se difundan tan fácilmente. El gigante tecnológico simplificó su proceso para solicitar la eliminación de imágenes explícitas de la Búsqueda de Google. Puedes hacer clic en los tres puntos en la esquina superior derecha de una imagen, hacer clic en informar y luego decirle a Google que quieres que se elimine la foto porque “muestra una imagen sexual mía”. Los nuevos cambios también le permiten seleccionar varias imágenes a la vez y realizar un seguimiento de sus informes más fácilmente.
“Esperamos que este nuevo proceso de eliminación reduzca la carga que enfrentan las víctimas de imágenes explícitas no consensuadas”, dijo la compañía en un publicación de blog.
Cuando se le preguntó sobre otras medidas que la empresa está tomando para prevenir el abuso de la IA, Google señaló a CNET su política de uso prohibido de IA generativa. La política de Google, como la letra pequeña de muchas otras empresas de tecnología, prohíbe el uso de IA para actividades ilegales o potencialmente abusivas, como la creación de imágenes íntimas.
Existen leyes que tienen como objetivo ayudar a las víctimas cuando estas imágenes se comparten en línea, como la Ley Take It Down de 2025. Pero el alcance de esa ley es limitado, razón por la cual muchos grupos de defensa, como el Centro Nacional sobre Explotación Sexual, están presionando por mejores reglas.
No hay garantía de que estos cambios impidan que alguien utilice la IA para acosar y abusar. Por eso es tan importante que los desarrolladores se mantengan alerta para garantizar que todos estemos protegidos y actúen rápidamente cuando surjan informes y problemas.
(Divulgación: Ziff Davis, la empresa matriz de CNET, presentó en 2025 una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis al entrenar y operar sus sistemas de IA).
