Siga ZDNET: Agréganos como fuente preferida en Google.
Conclusiones clave de ZDNET
- La adopción de agentes de IA entre las empresas está creciendo rápidamente.
- Mientras tanto, el desarrollo de protocolos de seguridad va retrasado.
- Deloitte recomienda implementar procedimientos de supervisión.
Las empresas están aumentando el uso de agentes de IA más rápidamente de lo que construyen barreras de seguridad adecuadas, según el último informe State of AI within the Enterprise de Deloitte.
Publicado el miércoles y basado en una encuesta de más de 3.200 líderes empresariales en 24 países, el estudio encontró que el 23% de las empresas utilizan actualmente agentes de IA “al menos moderadamente”, pero se prevé que esta cifra aumente al 74% en los próximos dos años. Por el contrario, se espera que la proporción de empresas que informan que no los utilizan en absoluto, actualmente el 25%, se reduzca a sólo el 5%.
Además: el 43% de los trabajadores cube haber compartido información confidencial con IA, incluidos datos financieros y de clientes.
Sin embargo, el aumento de agentes (herramientas de inteligencia synthetic entrenadas para realizar tareas de varios pasos con poca supervisión humana) en el lugar de trabajo no se está complementando con barreras de seguridad adecuadas. Sólo alrededor del 21% de los encuestados dijeron a Deloitte que su empresa cuenta actualmente con sólidos mecanismos de seguridad y supervisión para evitar posibles daños causados por los agentes.
“Dada la rápida trayectoria de adopción de la tecnología, esto podría ser una limitación significativa”, escribió Deloitte en su informe. “A medida que la IA agente escala desde pilotos hasta implementaciones de producción, establecer una gobernanza sólida debería ser esencial para capturar valor y al mismo tiempo gestionar el riesgo”.
¿Qué podría salir mal?
Empresas como OpenAI, Microsoft, Google, Amazon y Salesforce han comercializado agentes como herramientas que aumentan la productividad, con la thought central de que las empresas pueden descargarles operaciones laborales repetitivas y de bajo riesgo mientras los empleados humanos se concentran en tareas más importantes.
También: Malas vibraciones: cómo un agente de IA codificó su camino hacia el desastre
Sin embargo, una mayor autonomía conlleva mayores riesgos. A diferencia de los chatbots más limitados, que requieren indicaciones cuidadosas y constantes, los agentes pueden interactuar con varias herramientas digitales para, por ejemplo, firmar documentos o realizar compras en nombre de organizaciones. Esto deja más margen de error, ya que los agentes pueden comportarse de maneras inesperadas (a veces con consecuencias desastrosas) y ser vulnerables a ataques de inyección rápidos.
alejar
El nuevo informe de Deloitte no es el primero en señalar que la adopción de la IA está eclipsando la seguridad.
Un estudio publicado en mayo encontró que la gran mayoría (84%) de los profesionales de TI encuestados dijeron que sus empleadores ya estaban usando agentes de IA, mientras que solo el 44% dijo que tenían políticas implementadas para common la actividad de esos sistemas.
Además: Cómo OpenAI defiende ahora ChatGPT Atlas de los ataques y por qué la seguridad no está garantizada
Otro estudio publicado en septiembre por la Alianza Nacional de Ciberseguridad, una organización sin fines de lucro, reveló que si bien un número creciente de personas utilizan herramientas de inteligencia synthetic como ChatGPT a diario, incluso en el trabajo, la mayoría de ellas lo hacen sin haber recibido ningún tipo de capacitación en seguridad por parte de sus empleadores (enseñándoles, por ejemplo, sobre los riesgos de privacidad que conlleva el uso de chatbots).
Y en diciembre, Gallup publicó los resultados de una encuesta que mostraba que, si bien el uso de herramientas de inteligencia synthetic entre trabajadores individuales había aumentado desde el año anterior, casi una cuarta parte (23%) de los encuestados dijeron que no sabían si sus empleadores estaban usando la tecnología a nivel organizacional.
El resultado
Por supuesto, sería injusto para los líderes empresariales exigir que tengan barreras absolutamente a prueba de balas alrededor de los agentes de IA en esta etapa tan temprana. La tecnología siempre evoluciona más rápido que nuestra comprensión de cómo puede salir mal y, como resultado, las políticas en todos los niveles tienden a ir a la zaga de su implementación.
Además: Cómo estas leyes estatales de seguridad de la IA cambian la regulación en los EE. UU.
Esto ha sido especialmente cierto con la IA, ya que la cantidad de exageración cultural y presión económica que ha estado impulsando a los desarrolladores de tecnología a lanzar nuevos modelos y a los líderes organizacionales a comenzar a usarlos no tiene precedentes.
Pero los primeros estudios, como el nuevo informe sobre el estado de la IA generativa en la empresa de Deloitte, señalan lo que bien podría convertirse en una división peligrosa entre implementación y seguridad a medida que las industrias aumentan el uso de agentes y otras potentes herramientas de IA.
Además: el 96% de los profesionales de TI dicen que los agentes de IA son un riesgo para la seguridad, pero los están implementando de todos modos
Por ahora, la supervisión debería ser la consigna: las empresas deben ser conscientes de los riesgos asociados con el uso interno de agentes y contar con políticas y procedimientos para garantizar que no se descarrilen y, si lo hacen, que el daño resultante pueda gestionarse.
“Las organizaciones necesitan establecer límites claros para la autonomía de los agentes, definiendo qué decisiones pueden tomar los agentes de forma independiente y cuáles requieren aprobación humana”, recomienda Deloitte en su nuevo informe. “Los sistemas de monitoreo en tiempo actual que rastrean el comportamiento de los agentes y señalan anomalías son esenciales, al igual que los registros de auditoría que capturan la cadena completa de acciones de los agentes para ayudar a garantizar la responsabilidad y permitir la mejora continua”.
