Incluso los más inteligentes Los modelos de inteligencia synthetic son esencialmente imitadores. Aprenden consumiendo ejemplos de trabajo humano o tratando de resolver problemas que les han planteado instructores humanos.
Pero tal vez la IA pueda, de hecho, aprender de una manera más humana: descubriendo preguntas interesantes que plantearse e intentando encontrar la respuesta correcta. Un proyecto de Universidad de Tsinghuael Instituto de Inteligencia Artificial General de Beijing (BIGAI) y la Universidad Estatal de Pensilvania muestran que la IA puede aprender a razonar de esta manera jugando con códigos de computadora.
Los investigadores idearon un sistema llamado Razonador cero absoluto (AZR) que primero utiliza un modelo de lenguaje grande para generar problemas de codificación Python desafiantes pero solucionables. Luego utiliza el mismo modelo para resolver esos problemas antes de verificar su trabajo intentando ejecutar el código. Y finalmente, el sistema AZR utiliza los éxitos y fracasos como señal para refinar el modelo authentic, aumentando su capacidad tanto para plantear mejores problemas como para resolverlos.
El equipo descubrió que su enfoque mejoró significativamente las habilidades de codificación y razonamiento de las versiones de 7 mil millones y 14 mil millones de parámetros del modelo de lenguaje de código abierto Qwen. Sorprendentemente, el modelo incluso superó a algunos modelos que habían recibido datos seleccionados por humanos.
hablé con Andrés Zhaoun estudiante de doctorado en la Universidad de Tsinghua a quien se le ocurrió la concept authentic de Absolute Zero, así como Zilong Zhenginvestigador de BIGAI que trabajó con él en el proyecto, a través de Zoom.
Zhao me dijo que el enfoque se parece a la forma en que el aprendizaje humano va más allá de la memorización o la imitación. “Al principio imitas a tus padres y te gustan tus profesores, pero luego básicamente tienes que hacer tus propias preguntas”, dijo. “Y eventualmente podrás superar a aquellos que te enseñaron en la escuela”.
Zhao y Zheng señalaron que la concept de que la IA aprenda de esta manera, a veces denominada “autojuego”, se remonta a años atrás y fue explorada anteriormente por personas como Jürgen Schmidhuberun conocido pionero de la IA, y Pierre-Yves Oudeyerinformático de Inria en Francia.
Uno de los elementos más interesantes del proyecto, según Zheng, es la forma en que escalan las habilidades del modelo para plantear y resolver problemas. “El nivel de dificultad aumenta a medida que el modelo se vuelve más potente”, afirma.
Un desafío clave es que por ahora el sistema solo funciona en problemas que se pueden verificar fácilmente, como aquellos que involucran matemáticas o codificación. A medida que avance el proyecto, podría ser posible utilizarlo en tareas de inteligencia synthetic como navegar por la net o realizar tareas de oficina. Esto podría implicar que el modelo de IA intente juzgar si las acciones de un agente son correctas.
Una posibilidad fascinante de un enfoque como Absolute Zero es que, en teoría, podría permitir que los modelos vayan más allá de la enseñanza humana. “Una vez que lo tengamos, será una especie de forma de alcanzar la superinteligencia”, me dijo Zheng.
Hay señales tempranas de que el enfoque Absolute Zero se está imponiendo en algunos grandes laboratorios de IA.
un proyecto llamado Agente0de Salesforce, Stanford y la Universidad de Carolina del Norte en Chapel Hill, implica un agente que utiliza una herramienta de software program y se mejora a sí mismo mediante el juego autónomo. Al igual que Absolute Zero, el modelo mejora el razonamiento common mediante la resolución experimental de problemas. A artículo reciente Escrito por investigadores de Meta, la Universidad de Illinois y la Universidad Carnegie Mellon presenta un sistema que utiliza un tipo comparable de autojuego para la ingeniería de software program. Los autores de este trabajo sugieren que representa “un primer paso hacia paradigmas de capacitación para agentes de software program superinteligentes”.
Encontrar nuevas formas para que la IA aprenda probablemente será un tema importante en la industria tecnológica este año. Dado que las fuentes convencionales de datos son cada vez más escasas y costosas, y mientras los laboratorios buscan nuevas formas de hacer que los modelos sean más capaces, un proyecto como Absolute Zero podría conducir a sistemas de inteligencia synthetic que se parezcan menos a imitadores y más a humanos.
