OpenAI está preguntando contratistas externos carguen asignaciones y tareas reales de sus lugares de trabajo actuales o anteriores para que pueda usar los datos para evaluar el rendimiento de sus modelos de IA de próxima generación, según registros de OpenAI y la empresa de datos de capacitación Handshake AI obtenidos por WIRED.
El proyecto parece ser parte de los esfuerzos de OpenAI para establecer una base humana para diferentes tareas que luego puedan compararse con modelos de IA. En septiembre, la empresa lanzó un nuevo evaluación proceso para medir el rendimiento de sus modelos de IA frente a profesionales humanos en una variedad de industrias. OpenAI cube que este es un indicador clave de su progreso hacia el logro de AGI, o un sistema de inteligencia synthetic que supere a los humanos en la mayoría de las tareas económicamente valiosas.
“Hemos contratado personas de diferentes ocupaciones para ayudar a recopilar tareas del mundo actual modeladas a partir de aquellas que usted ha realizado en sus trabajos de tiempo completo, para que podamos medir qué tan bien se desempeñan los modelos de IA en esas tareas”, se lee en un documento confidencial de OpenAI. “Tome partes existentes de trabajo complejo o de largo plazo (horas o días o más) que haya realizado en su ocupación y convierta cada una en una tarea”.
OpenAI está pidiendo a los contratistas que describan las tareas que han realizado en su trabajo precise o en el pasado y que carguen ejemplos reales del trabajo que realizaron, según una presentación de OpenAI sobre el proyecto vista por WIRED. Cada uno de los ejemplos debe ser “un resultado concreto (no un resumen del archivo, sino el archivo actual), por ejemplo, documento de Phrase, PDF, Powerpoint, Excel, imagen, repositorio”, señala la presentación. OpenAI cube que las personas también pueden compartir ejemplos de trabajo inventados creados para demostrar cómo responderían de manera realista en escenarios específicos.
OpenAI y Handshake AI declinaron hacer comentarios.
Las tareas del mundo actual tienen dos componentes, según la presentación de OpenAI. Está la solicitud de tarea (lo que el gerente o colega de una persona le dijo que hiciera) y la tarea a entregar (el trabajo actual que produjeron en respuesta a esa solicitud). La empresa enfatiza varias veces en las instrucciones que los ejemplos que comparten los contratistas deben reflejar el “trabajo actual en el trabajo” que la persona tiene “de hecho hecho.”
Un ejemplo en la presentación de OpenAI describe una tarea de un “Gerente senior de estilo de vida en una empresa de conserjería de lujo para personas con un patrimonio neto extremely alto”. El objetivo es “Preparar un breve borrador en PDF de dos páginas con una descripción basic de un viaje en yate de 7 días a las Bahamas para una familia que viajará allí por primera vez”. Incluye detalles adicionales sobre los intereses de la familia y cómo debería ser el itinerario. El “entregable humano experimentado” muestra lo que el contratista cargaría en este caso: un itinerario actual de las Bahamas creado para un cliente.
OpenAI instruye a los contratistas a eliminar la propiedad intelectual corporativa y la información de identificación private de los archivos de trabajo que cargan. En una sección denominada “Recordatorios importantes”, OpenAI les cube a los trabajadores que “Eliminen o anonimicen cualquier: información private, datos confidenciales o de propiedad, información materials no pública (por ejemplo, estrategia interna, detalles de productos no publicados)”.
Uno de los archivos vistos por el documento WIRED menciona una herramienta ChatGPT llamada “Superestrella fregando” que brinda consejos sobre cómo eliminar información confidencial.
Evan Brown, abogado de propiedad intelectual de Neal & McDevitt, le cube a WIRED que los laboratorios de inteligencia synthetic que reciben información confidencial de contratistas a esta escala podrían estar sujetos a acusaciones de apropiación indebida de secretos comerciales. Los contratistas que ofrecen documentos de sus lugares de trabajo anteriores a una empresa de inteligencia synthetic, incluso borrados, podrían correr el riesgo de violar los acuerdos de confidencialidad de sus empleadores anteriores o exponer secretos comerciales.
“El laboratorio de IA confía mucho en sus contratistas para decidir qué es y qué no es confidencial”, cube Brown. “Si dejan escapar algo, ¿los laboratorios de IA realmente se están tomando el tiempo para determinar qué es y qué no es un secreto comercial? Me parece que el laboratorio de IA se está poniendo en gran riesgo”.
