LinkedIn es líder en sistemas de recomendación de IA y los ha desarrollado durante los últimos 15 años. Pero llegar a una pila de recomendaciones de próxima generación para los solicitantes de empleo del mañana requirió una técnica completamente nueva. La empresa tuvo que mirar más allá de los modelos disponibles para lograr precisión, latencia y eficiencia del siguiente nivel.
“Simplemente no había manera de que pudiéramos hacer eso mediante indicaciones”, cube Erran Berger, vicepresidente de ingeniería de productos en LinkedIn, en un nuevo Más allá del piloto podcast. “Ni siquiera lo intentamos con los sistemas de recomendación de próxima generación porque nos dimos cuenta de que no period viable”.
En cambio, su equipo se dispuso a desarrollar un documento de política de producto muy detallado para afinar un modelo inicialmente masivo de 7 mil millones de parámetros; eso luego se destiló en modelos adicionales de profesores y estudiantes optimizados para cientos de millones de parámetros.
La técnica ha creado un libro de cocina repetible que ahora se reutiliza en todos los productos de inteligencia synthetic de LinkedIn.
“La adopción de este proceso de evaluación de principio a fin impulsará una mejora sustancial de la calidad de los Me gusta que probablemente no hemos visto en años aquí en LinkedIn”, afirma Berger.
Por qué la destilación de varios profesores fue un “gran avance” para LinkedIn
Berger y su equipo se propusieron crear un LLM que pudiera interpretar consultas laborales individuales, perfiles de candidatos y descripciones de puestos en tiempo actual, y de una manera que reflejara la política de productos de LinkedIn con la mayor precisión posible.
Al trabajar con el equipo de gestión de productos de la empresa, los ingenieros finalmente crearon un documento de 20 a 30 páginas que calificaba la descripción del trabajo y los pares de perfiles “en muchas dimensiones”.
“Hicimos muchas, muchas iteraciones sobre esto”, cube Berger. Luego, ese documento de política de producto se combinó con un “conjunto de datos de oro” que comprende miles de pares de consultas y perfiles; El equipo introdujo esto en ChatGPT durante la generación de datos y la experimentación, lo que hizo que el modelo, con el tiempo, aprendiera pares de puntuación y, finalmente, generara un conjunto de datos sintéticos mucho más grande para entrenar un modelo docente de 7 mil millones de parámetros.
Sin embargo, cube Berger, no basta con tener un LLM en producción sólo en política de producto. “Al ultimate del día, es un sistema de recomendación y necesitamos hacer cierta cantidad de personalización y predicción de clics”.
Entonces, su equipo utilizó ese modelo docente inicial centrado en la política del producto para desarrollar un segundo modelo docente orientado a la predicción de clics. Utilizando los dos, destilaron aún más un modelo de 1.700 millones de parámetros con fines de capacitación. Ese eventual modelo de estudiante se ejecutó a través de “muchas, muchas ejecuciones de entrenamiento” y se optimizó “en cada punto” para minimizar la pérdida de calidad, cube Berger.
Esta técnica de destilación de varios profesores permitió al equipo “lograr mucha afinidad” con la política del producto authentic y “conseguir” la predicción de clics, afirma. También lograron “modularizar y componentar” el proceso de formación del estudiante.
Considérelo en el contexto de un agente de chat con dos modelos de docente diferentes: uno entrena al agente sobre la precisión de las respuestas, el otro sobre el tono y cómo debe comunicarse. Esas dos cosas son objetivos muy diferentes, aunque críticos, señala Berger.
“Al mezclarlos ahora, se obtienen mejores resultados, pero también se pueden repetir de forma independiente”, afirma. “Eso fue un gran avance para nosotros”.
Cambiando la forma en que los equipos trabajan juntos
Berger cube que no puede subestimar la importancia de anclarse en una política de producto y un proceso de evaluación iterativo.
Obtener una “política de producto realmente buena” requiere traducir la experiencia del dominio del gerente de producto en un documento unificado. Históricamente, señala Berger, el equipo de gestión de productos se centraba en la estrategia y la experiencia del usuario, dejando los enfoques de iteración del modelado a los ingenieros de ML. Ahora, sin embargo, los dos equipos trabajan juntos para “marcar” y crear un modelo docente alineado.
“La forma en que los gerentes de producto trabajan ahora con los ingenieros de aprendizaje automático es muy diferente de todo lo que hemos hecho antes”, afirma. “Ahora es un modelo para básicamente cualquier producto de inteligencia synthetic que fabricamos en LinkedIn”.
Mira el podcast completo para saber más sobre:
-
Cómo LinkedIn optimizó cada paso del proceso de I+D para respaldar la velocidad, lo que generó resultados reales en días u horas en lugar de semanas;
-
Por qué los equipos deberían desarrollar canales de conectividad y experimentación y probar diferentes modelos para respaldar la flexibilidad;
-
La continua importancia de la depuración de la ingeniería tradicional.
También puedes escuchar y suscribirte Más allá del piloto en Spotify, Manzana o dondequiera que obtengas tus podcasts.
