Los LLM de hoy sobresalen en el razonamiento, pero aún pueden tener dificultades con el contexto. Esto es particularmente cierto en sistemas de pedidos en tiempo actual como Instacart.
El CTO de Instacart, Anirban Kundu, lo llama el “problema de la receta del brownie”.
No es tan easy como decirle a un LLM “Quiero hacer brownies”. Para ser realmente útil al planificar la comida, el modelo debe ir más allá de esa easy directiva para comprender qué hay disponible en el mercado del usuario en función de sus preferencias (por ejemplo, huevos orgánicos frente a huevos normales) y tenerlo en cuenta en lo que se puede entregar en su geografía para que los alimentos no se echen a perder. Esto entre otros factores críticos.
Para Instacart, el desafío es hacer malabares con la latencia con la combinación adecuada de contexto para brindar experiencias, idealmente, en menos de un segundo.
“Si el razonamiento en sí toma 15 segundos, y si cada interacción es así de lenta, perderás al usuario”, dijo Kundu en un evento reciente de VB.
Mezcla de razonamiento, estado del mundo actual y personalización.
En la entrega de comestibles, hay un “mundo de razonamiento” y un “mundo de estado” (lo que está disponible en el mundo actual), kundu señalado, los cuales deben ser comprendidos por un LLM junto con las preferencias del usuario. Pero no es tan easy como cargar todo el historial de compras de un usuario y sus intereses conocidos en un modelo de razonamiento.
“Tu LLM crecerá hasta alcanzar un tamaño que será inmanejable”, dijo Kundu.
Para solucionar esto, Instacart divide el procesamiento en partes. En primer lugar, los datos se introducen en un gran modelo elementary que puede comprender la intención y categorizar los productos. Los datos procesados se envían luego a modelos de lenguaje pequeño (SLM) diseñado para el contexto del catálogo (los tipos de alimentos u otros elementos que funcionan juntos) y la comprensión semántica.
En el caso del contexto del catálogo, el SLM debe poder procesar múltiples niveles de detalles en torno al pedido en sí, así como a los diferentes productos. Por ejemplo, ¿qué productos van juntos y cuáles son sus reemplazos relevantes si la primera opción no está disponible? Estas sustituciones son “muy, muy importantes” para una empresa como Instacart, que según Kundu tiene “más de dos dígitos de casos” en los que un producto no está disponible en un mercado native.
En términos de comprensión semántica, digamos que un comprador busca comprar refrigerios saludables para niños. El modelo debe comprender qué es un refrigerio saludable y qué alimentos son apropiados y atractivos para un niño de 8 años, y luego identificar los productos relevantes. Y, cuando esos productos en specific no están disponibles en un mercado determinado, el modelo también debe encontrar subconjuntos de productos relacionados.
Luego está el elemento logístico. Por ejemplo, un producto como el helado se derrite rápidamente y las verduras congeladas tampoco quedan bien cuando se dejan afuera en temperaturas más cálidas. El modelo debe tener este contexto y calcular un tiempo de entrega aceptable.
“Entonces tienes esta comprensión de intención, tienes esta categorización, luego tienes esta otra parte sobre logística, ¿cómo lo haces?”, señaló Kundu.
Evitar sistemas de agentes ‘monolíticos’
Como muchas otras empresas, Instacart está experimentando con agentes de IA y ha descubierto que una combinación de agentes funciona mejor que un “único monolito” que realiza múltiples tareas diferentes. La filosofía Unix de un sistema operativo modular con herramientas más pequeñas y enfocadas ayuda a abordar diferentes sistemas de pago, por ejemplo, que tienen distintos modos de falla, explicó Kundu.
“Tener que construir todo eso dentro de un único entorno fue muy difícil de manejar”, afirmó. Además, los agentes en el back-end hablan con muchas plataformas de terceros, incluidos sistemas de catálogo y punto de venta (POS). Naturalmente, no todos se comportan de la misma manera; algunos son más confiables que otros y tienen diferentes intervalos de actualización y fuentes.
“Para poder manejar todas esas cosas, hemos optado por el camino de los microagentes en lugar de agentes que son predominantemente de naturaleza grande”, dijo Kundu.
Para administrar agentes, Instacart se ha integrado con Protocolo de contexto modelo de OpenAI (MCP), que estandariza y simplifica el proceso de conectar modelos de IA a diferentes herramientas y fuentes de datos.
La empresa también utiliza el estándar abierto Common Commerce Protocol (UCP) de Google, que permite a los agentes de IA interactuar directamente con los sistemas comerciales.
Sin embargo, el equipo de Kundu aún enfrenta desafíos. Como señaló, no se trata de si la integración es posible, sino de cuán confiable se comportan esas integraciones y qué tan bien las entienden los usuarios. El descubrimiento puede resultar difícil, no sólo para identificar los servicios disponibles, sino también para comprender cuáles son apropiados para cada tarea.
Instacart ha tenido que implementar MCP y UCP en casos “muy diferentes”, y los mayores problemas con los que se han encontrado son los modos de falla y la latencia, señaló Kundu. “Los tiempos de respuesta y la comprensión de ambos servicios son muy, muy diferentes. Yo diría que probablemente dedicamos dos tercios del tiempo a solucionar esos casos de error”.
