La coalición exige la prohibición federal de Grok por contenido sexual no consensuado

Una coalición de organizaciones sin fines de lucro está instando al gobierno de EE. UU. a suspender inmediatamente el despliegue de Grok, el chatbot desarrollado por xAI de Elon Musk, en agencias federales, incluido el Departamento de Defensa.

La carta abierta, compartida exclusivamente con TechCrunch, sigue una serie de comportamientos preocupantes del modelo de lenguaje grande durante el año pasado, incluida más recientemente una tendencia de usuarios de X que le piden a Grok que convierta fotos de mujeres reales, y en algunos casos de niños, en imágenes sexualizadas sin su consentimiento. Según algunos informes, Grok generó miles de imágenes explícitas no consensuadas cada hora, que luego se difundieron a escala en X, la plataforma de redes sociales de Musk propiedad de xAI.

“Es profundamente preocupante que el gobierno federal continúe implementando un producto de inteligencia synthetic con fallas a nivel de sistema que resultan en la generación de imágenes sexuales no consensuadas y materials de abuso sexual infantil”, cube la carta, firmada por grupos de defensa como Public Citizen, Heart for AI and Digital Coverage y Shopper Federation of America. “Dadas las órdenes ejecutivas, la orientación y la recientemente aprobada Ley Take It Down apoyada por el Casa Blancaes alarmante que [Office of Management and Budget] aún no ha ordenado a las agencias federales que desmantelen Grok”.

xAI llegó a un acuerdo en septiembre pasado con la Administración de Servicios Generales (GSA), el brazo de compras del gobierno, para vender Grok a agencias federales dependientes del poder ejecutivo. Dos meses antes, xAI, junto con Anthropic, Google y OpenAI, consiguió un contrato por valor de hasta $200 millones con el Departamento de Defensa.

En medio de los escándalos sobre X a mediados de enero, el secretario de Defensa, Pete Hegseth, dijo que Grok se unirá a Gemini de Google en operando dentro de la red del Pentágonomanejando documentos tanto clasificados como no clasificados, lo que según los expertos es un riesgo para la seguridad nacional.

Los autores de la carta argumentan que Grok ha demostrado ser incompatible con los requisitos de la administración para los sistemas de inteligencia synthetic. Según el Orientación de la OMBse deben suspender los sistemas que presentan riesgos graves y previsibles que no pueden mitigarse adecuadamente.

“Nuestra principal preocupación es que Grok ha demostrado consistentemente ser un modelo de lenguaje grande inseguro”, dijo a TechCrunch JB Department, un defensor de la responsabilidad de Public Citizen Massive Tech y uno de los autores de la carta. “Pero también hay una historia profunda de Grok que ha tenido una variedad de disaster, incluidas peroratas antisemitas, peroratas sexistas e imágenes sexualizadas de mujeres y niños”.

Varios gobiernos han demostrado falta de voluntad para interactuar con Grok luego de su comportamiento en enero, que se suma a una serie de incidentes que incluyen la generación de publicaciones antisemitas en X y autodenominarse “MechaHitler”. Indonesia, Malasia y Filipinas bloquearon el acceso a Grok (posteriormente levantaron esas prohibiciones), y la Unión Europea, el Reino Unido, Corea del Sur y la India están investigando activamente a xAI y X con respecto a la privacidad de los datos y la distribución de contenido ilegal.

La carta también llega una semana después de que Widespread Sense Media, una organización sin fines de lucro que analiza medios y tecnología para familias, publicara una evaluación de riesgos condenatoria que encontró que Grok se encuentra entre los más inseguros para niños y adolescentes. Se podría argumentar que, basándose en los hallazgos del informe (incluida la propensión de Grok a ofrecer consejos inseguros, compartir información sobre drogas, generar imágenes violentas y sexuales, arrojar teorías de conspiración y generar resultados sesgados), Grok tampoco es tan seguro para los adultos.

“Si sabe que un modelo de lenguaje grande es o ha sido declarado inseguro por expertos en seguridad de IA, ¿por qué querría que maneje los datos más confidenciales que tenemos?” dijo Rama. “Desde el punto de vista de la seguridad nacional, eso simplemente no tiene ningún sentido”.

Andrew Christianson, excontratista de la Agencia de Seguridad Nacional y precise fundador de Gobbi AIuna plataforma de agentes de inteligencia synthetic sin código para entornos clasificados, cube que el uso de LLM de código cerrado en normal es un problema, particularmente para el Pentágono.

“Las ponderaciones cerradas significan que no se puede ver el inside del modelo, no se puede auditar cómo toma decisiones”, dijo. “El código cerrado significa que no se puede inspeccionar el software program ni controlar dónde se ejecuta. El Pentágono se cerrará en ambos, que es la peor combinación posible para la seguridad nacional”.

“Estos agentes de IA no son sólo chatbots”, añadió Christianson. “Pueden tomar acciones, acceder a sistemas, mover información. Es necesario poder ver exactamente lo que están haciendo y cómo toman decisiones. El código abierto te brinda eso. La IA patentada en la nube no lo hace”.

Los riesgos de utilizar sistemas de IA corruptos o inseguros van más allá de los casos de uso de seguridad nacional. Department señaló que un LLM que ha demostrado tener resultados sesgados y discriminatorios también podría producir resultados negativos desproporcionados para las personas, especialmente si se utiliza en departamentos relacionados con vivienda, trabajo o justicia.

Si bien la OMB aún no ha publicado su inventario federal consolidado de casos de uso de IA para 2025, TechCrunch ha revisado los casos de uso de varias agencias, la mayoría de las cuales no utilizan Grok o no divulgan su uso. Además del Departamento de Defensa, el Departamento de Salud y Servicios Humanos también parece estar utilizando activamente Grok, principalmente para programar y gestionar publicaciones en redes sociales y generar primeros borradores de documentos, informes u otros materiales de comunicación.

Department señaló lo que considera una alineación filosófica entre Grok y la administración como una razón para pasar por alto las deficiencias del chatbot.

“La marca Grok es ser el ‘modelo de lenguaje grande anti-despertar’, y eso se adscribe a la filosofía de esta administración”, dijo Department. “Si tienes una administración que ha tenido múltiples problemas con la gente que han sido acusados ​​de ser neonazis o supremacistas blancosy luego están usando un modelo de lenguaje amplio que ha sido vinculado a ese tipo de comportamiento, me imagino que podrían tener una propensión a usarlo”.

Esta es la tercera carta de la coalición después de escribir con preocupaciones similares en Agosto y Octubre el año pasado. En agosto, xAI lanzó el “modo picante” en Grok Think about, lo que provocó la creación masiva de deepfakes sexualmente explícitos no consensuados. TechCrunch también informó en agosto que la Búsqueda de Google había indexado conversaciones privadas de Grok.

Antes de la carta de octubre, Grok fue acusado de Proporcionar información errónea sobre las elecciones.incluidos plazos falsos para cambios en las boletas y falsificaciones políticas. xAI también lanzó Grokipediaque los investigadores encontraron que legitimaba racismo científicoescepticismo sobre el VIH/SIDA y conspiraciones sobre vacunas.

Además de suspender inmediatamente el despliegue federal de Grok, la carta exige que la OMB investigue formalmente las fallas de seguridad de Grok y si se llevaron a cabo los procesos de supervisión adecuados para el chatbot. También le pide a la agencia que aclare públicamente si Grok ha sido evaluado para cumplir con la orden ejecutiva de Trump que requiere que los LLM sean neutrales y que busquen la verdad y si cumplió con los estándares de mitigación de riesgos de la OMB.

“La administración necesita hacer una pausa y reevaluar si Grok cumple o no esos umbrales”, dijo Department.

TechCrunch se ha puesto en contacto con xAI y OMB para solicitar comentarios.