un reportero para El Correo de Washington ha puesto a prueba la nueva función opcional de integración Apple Well being de ChatGPT al alimentarla con diez años de datos de su Apple Watch. Los resultados no fueron, cuanto menos, alentadores.
A principios de este mes, OpenAI anunció el lanzamiento de ChatGPT Well being, una sección dedicada de ChatGPT donde los usuarios pueden hacer preguntas relacionadas con la salud completamente separadas de su experiencia principal de ChatGPT. Para obtener respuestas más personalizadas, los usuarios pueden conectar varios servicios de datos de salud como Apple Well being, Perform, MyFitnessPal, Weight Watchers, AllTrails, Instacart y Peloton.
ChatGPT Well being también puede integrarse con sus registros médicos, lo que le permite analizar los resultados de su laboratorio y otros aspectos de su historial médico para informar sus respuestas a sus preguntas relacionadas con la salud.
Con esto en mente, el periodista Geoffrey Fowler le dio a ChatGPT Well being acceso a 29 millones de pasos y 6 millones de mediciones de latidos desde su aplicación Apple Well being, y le pidió al robotic que calificara su salud cardíaca. Le dio una F.
Sintiéndose comprensiblemente alarmado, Fowler preguntó a su médico precise, quien en términos muy claros desestimó por completo la evaluación de la IA. Su médico dijo que Fowler tenía un riesgo tan bajo de sufrir problemas cardíacos que su seguro probablemente ni siquiera cubriría pruebas adicionales para refutar los hallazgos del chatbot.
El cardiólogo Eric Topol del Instituto de Investigación Scripps tampoco quedó impresionado con la evaluación del modelo de lenguaje grande. Calificó el análisis de ChatGPT como “infundado” y dijo que la gente debería ignorar sus consejos médicos, ya que claramente no está listo para el horario de máxima audiencia.
Quizás el hallazgo más preocupante fue la inconsistencia de ChatGPT. Cuando Fowler hizo la misma pregunta varias veces, su puntuación osciló enormemente entre una F y una B. ChatGPT también olvidaba información básica sobre él, incluido su sexo y edad, a pesar de tener acceso completo a sus registros.
Al chatbot Claude de Anthropic le fue un poco mejor, aunque no mucho. El LLM calificó la salud cardíaca de Fowler con una C, pero tampoco tuvo en cuenta adecuadamente las limitaciones en los datos del Apple Watch.
Ambas compañías dicen que sus herramientas de salud no están destinadas a reemplazar a los médicos ni proporcionar diagnósticos. Topol argumentó con razón que si estos robots no pueden evaluar con precisión los datos de salud, entonces no deberían ofrecer calificaciones en absoluto.
Sin embargo, nada parece detenerlos. La Administración de Alimentos y Medicamentos de Estados Unidos dijo a principios de este mes que el trabajo de la agencia es “hacerse a un lado como regulador” para promover la innovación. Un comisionado de la agencia trazó una línea roja cuando AI hace “afirmaciones médicas o clínicas” sin la revisión de la FDA, pero ChatGPT y Claude argumentan que solo están proporcionando información.
“Las personas que hacen esto se asustarán mucho por su salud”, dijo Topol. “También podría ser al revés y dar a las personas que no están saludables una falsa sensación de que todo lo que están haciendo es fantástico”.
La integración de ChatGPT con Apple Well being está actualmente limitada a un grupo de usuarios beta. En respuesta al informe, OpenAI dijo que estaba trabajando para mejorar la coherencia de las respuestas del chatbot. “El lanzamiento de ChatGPT Well being con acceso en lista de espera nos permite aprender y mejorar la experiencia antes de que esté ampliamente disponible”, dijo la vicepresidenta de OpenAI, Ashley Alexander, a la publicación en un comunicado.
