Los agentes de IA ciertamente están teniendo un momento. Entre la reciente viralidad de garra abierta, Moltbook y OpenAI planeando tomar sus características de agente al siguiente nivel, puede que sea simplemente el año del agente.
¿Por qué? Bueno, pueden planificar, escribir codigonavegar por la net y ejecutar tareas de varios pasos con poca o ninguna supervisión. Algunos incluso prometen gestionar su flujo de trabajo. Otros se coordinan con herramientas y sistemas en su escritorio.
El atractivo es obvio. Estos sistemas no se limitan a responder. Ellos acto — para usted y en su nombre. Pero cuando los investigadores detrás del Índice de agentes de IA del MIT Catalogaron 67 sistemas agentes desplegados, encontraron algo inquietante.
Los desarrolladores están ansiosos por describir lo que sus agentes pueden hacer. hacer. Están mucho menos interesados en describir si estos agentes son seguro.
“Los principales desarrolladores y empresas emergentes de IA están implementando cada vez más sistemas de IA agentes que pueden planificar y ejecutar tareas complejas con una participación humana limitada”. los investigadores escribieron en el artículo. “Sin embargo, actualmente no existe un marco estructurado para documentar… las características de seguridad de los sistemas agentes”.
Esa brecha se muestra claramente en las cifras: alrededor del 70% de los agentes indexados proporcionan documentación y casi la mitad publica código. Pero sólo alrededor del 19% divulga una política de seguridad formal y menos del 10% informa evaluaciones de seguridad externas.
La investigación subraya que, si bien los desarrolladores se apresuran a promocionar las capacidades y la aplicación práctica de los sistemas agentes, también se apresuran a proporcionar información limitada sobre la seguridad y el riesgo. El resultado es una especie de transparencia desequilibrada.
¿Qué se considera un agente de IA?
Los investigadores fueron deliberados sobre qué hizo el corte, y no todos los chatbots califican. Para ser incluido, un sistema tenía que operar con objetivos poco especificados y perseguir metas a lo largo del tiempo. También tuvo que tomar acciones que afectan un entorno con mediación humana limitada. Se trata de sistemas que deciden por sí mismos los pasos intermedios. Pueden dividir una instrucción amplia en subtareas, utilizar herramientas, planificar, completar e iterar.
Esa autonomía es lo que los hace poderosos. También es lo que aumenta las apuestas.
Cuando un modelo simplemente genera texto, sus fallas generalmente están contenidas en esa salida. Cuando un agente de IA puede acceder a archivos, enviar correos electrónicos, realizar compras o modificar documentos, los errores y las vulnerabilidades pueden ser perjudiciales y propagarse a través de los pasos. Sin embargo, los investigadores descubrieron que la mayoría de los desarrolladores no detallan públicamente cómo prueban esos escenarios.
La capacidad es pública, las barandillas no lo son
El patrón más llamativo en el estudio no está escondido en lo profundo de una mesa, sino que se repite a lo largo del artículo.
Los desarrolladores se sienten cómodos compartiendo demostraciones, puntos de referencia y la usabilidad de estos agentes de IA, pero son mucho menos consistentes a la hora de compartir evaluaciones de seguridad, procedimientos de prueba internos o auditorías de riesgos de terceros.
Ese desequilibrio importa más a medida que los agentes pasan de prototipos a actores digitales integrados en flujos de trabajo reales. Muchos de los sistemas indexados operan en dominios como la ingeniería de software program y el uso de computadoras, entornos que a menudo involucran datos confidenciales y un management significativo.
El Índice de Agentes de IA del MIT no afirma que la IA agente sea insegura en su totalidad, pero muestra que a medida que aumenta la autonomía, la transparencia estructurada sobre la seguridad no ha seguido el ritmo.
La tecnología se está acelerando. Las barreras de seguridad, al menos públicamente, siguen siendo más difíciles de ver.
