La inyección rápida de robots de IA ya no es solo un problema a nivel de pantalla. Investigadores demostrar que un robotic puede desviarse de su tarea mediante un texto colocado en el mundo físico, el tipo de mensaje que un humano podría pasar sin pensarlo dos veces.
El ataque no se basa en irrumpir en el software program del robotic ni en falsificar sensores. En cambio, trata el entorno como un cuadro de entrada, colocando un letrero, cartel o etiqueta engañoso donde una cámara lo leerá.
En las pruebas de simulación, los investigadores informan tasas de éxito de ataque del 81,8% en una configuración de conducción autónoma y del 68,1% en una tarea de aterrizaje de emergencia con drones. En pruebas físicas con un pequeño automóvil robótico, las indicaciones impresas anularon la navegación con un éxito de al menos el 87% en diferentes condiciones de iluminación y visualización.
Cuando una señal se convierte en una orden
El método, llamado CHAIapunta a la capa de comando, la instrucción intermedia que produce un modelo de lenguaje de visión antes de que un controlador la convierta en movimiento. Si ese paso de planificación se encamina hacia una instrucción incorrecta, el resto de la pila de autonomía puede ejecutarlo fielmente. No se requiere malware.
El modelo de amenaza es deliberadamente de baja tecnología. El atacante es tratado como una caja negra externa que no puede tocar los sistemas integrados, solo necesita la capacidad de colocar texto dentro del campo de visión de la cámara.
Está diseñado para viajar.
CHAI no solo optimiza lo que cube el mensaje. También ajusta la apariencia del texto, incluidas opciones como coloration, tamaño y ubicación, porque la legibilidad del modelo es parte de lo que impulsa el resultado.
El artículo también informa que el enfoque se generaliza más allá de una sola escena. Describe indicaciones “universales” que siguen funcionando en imágenes invisibles, con resultados que promedian al menos el 50 % de éxito en todas las tareas y modelos, y superan el 70 % en una configuración basada en GPT. Incluso funciona en todos los idiomas, incluidos chino, español y mensajes en varios idiomas, lo que puede hacer que un mensaje plantado sea más difícil de notar para los humanos cercanos.
La lista de management de seguridad está cambiando
En materia de defensa, los investigadores señalan tres direcciones. Uno es el filtrado y la detección, buscando texto sospechoso en imágenes o en la salida intermedia del modelo. Otro es el trabajo de alineación, que hace que los modelos estén menos dispuestos a tratar la escritura ambiental como instrucción ejecutable. El tercero es la investigación de la solidez a más largo plazo destinada a obtener garantías más sólidas.
Un siguiente paso práctico es tratar el texto percibido como entrada no confiable de forma predeterminada y luego exigirle que pase controles de misión y seguridad antes de que pueda influir en la planificación del movimiento. Si su robotic lee señales, pruebe qué sucede cuando las señales mienten. El trabajo está programado para SaTML 2026, lo que debería poner estas defensas bajo mayor atención.
