Cuando experimentaron inicialmente con LLM e IA agente, los ingenieros de software program de Noción de IA aplicó generación de código avanzada, esquemas complejos e instrucción intensa.
Sin embargo, rápidamente, la prueba y el error le enseñaron al equipo que se podía deshazte de todo ese complicado modelado de datos. El líder de ingeniería de inteligencia synthetic de Notion, Ryan Nystrom, y su equipo recurrieron a indicaciones simples, representaciones legibles por humanos, abstracción mínima y formatos de rebajas familiares. El resultado fue un rendimiento del modelo dramáticamente mejorado.
Aplicando este enfoque reconfigurado, la empresa nativa de IA lanzó la V3 de su software program de productividad en septiembre. Su característica notable: agentes de IA personalizables, que rápidamente se han convertido en la herramienta de IA más exitosa de Notion hasta la fecha. Según los patrones de uso en comparación con versiones anteriores, Nystrom lo llama una “mejora de la función escalonada”.
“Es esa sensación de que te sacan el producto en lugar de que tú intentas empujarlo”, explica Nystrom en un Podcast de VB Más allá del piloto. “Sabíamos desde ese momento, muy temprano, que teníamos algo. Ahora nos preguntamos: ‘¿Cómo podría usar Notion sin esta característica?'”
‘Recableado’ para la period de los agentes de IA
Como ingeniero de software program tradicional, Nystrom estaba acostumbrado a experiencias “extremadamente deterministas”. Pero se encendió la luz cuando un colega le aconsejó que simplemente describiera su mensaje de IA como lo haría con un humano, en lugar de codificar reglas sobre cómo deberían comportarse los agentes en diversos escenarios. El fundamento: los LLM están diseñados para comprender, “ver” y razonar sobre el contenido de la misma manera que lo hacen los humanos.
“Ahora, cada vez que trabajo con IA, releo las indicaciones y las descripciones de las herramientas y [ask myself] ¿Es esto algo que podría darle a una persona sin contexto y que podría entender lo que está pasando? Nystrom dijo en el podcast. “Si no, hará un mal trabajo”.
Alejándose de la “representación bastante complicada” de datos dentro de Notion (como JSON o XML), Nystrom y su equipo representaron las páginas de Notion como Markdown, el common lenguaje de marcado independiente del dispositivo que outline la estructura y el significado usando texto sin formato sin necesidad de etiquetas HTML o editores formales. Esto permite que el modelo interactúe, lea, busque y realice cambios en archivos de texto.
En última instancia, esto requirió que Notion recableara sus sistemas, y el equipo de Nystrom se centró principalmente en la capa de transición del middleware.
También identificaron desde el principio la importancia de ejercer moderación en lo que respecta al contexto. Es tentador cargar tanta información como sea posible en un modelo, pero eso puede ralentizar las cosas y confundir el modelo. Para Notion, Nystrom describió un límite de 100.000 a 150.000 tokens como el “punto óptimo”.
“Hay casos en los que puedes cargar toneladas y toneladas de contenido en tu ventana contextual y el modelo tendrá dificultades”, dijo. “Cuanto más pones en la ventana de contexto, ves una degradación en el rendimiento, la latencia y también la precisión”.
Un enfoque espartano también es importante en el caso de las herramientas; Esto puede ayudar a los equipos a evitar la “pendiente resbaladiza” de funciones infinitas, aconsejó Nystrom. Notion se centra en un “menú seleccionado” de herramientas en lugar de un menú voluminoso tipo Cheesecake Manufacturing unit que crea una paradoja de elección para los usuarios.
“Cuando la gente solicita nuevas funciones, simplemente podemos agregar una herramienta al modelo o al agente”, dijo. Pero “cuantas más herramientas agreguemos, más decisiones tendrá que tomar el modelo”.
El resultado ultimate: Canalizar el modelo. Utilice las API de la forma en que deben usarse. No intentes ser sofisticado, no intentes complicarlo demasiado. Utilice un inglés sencillo.
Escuche el podcast completo para enterarse de:
-
Por qué la IA todavía se encuentra en la period anterior a Blackberry y anterior al iPhone;
-
La importancia del “dogfooding” en el desarrollo de productos;
-
Por qué no debería preocuparse por la rentabilidad de su función de IA en las primeras etapas: eso se puede optimizar más adelante;
-
Cómo los equipos de ingeniería pueden mantener las herramientas al mínimo en la period de MCP;
-
La evolución de Notion desde wikis hasta asistentes de IA completos.
Suscríbete a Past the Pilot en Pódcasts de Apple, Spotifyy YouTube.
