Investigadores del Brigham and Women’s Hospital, descubrieron problemas en las respuestas relacionadas con el cáncer y su tratamiento proporcionadas por el sistema ChatGPT.
Entre los hallazgos se descubrió que el chatbot suele ofrecer información incorrecta junto con la correcta, lo que dificultaba la detección de errores incluso para expertos médicos. La doctora Danielle Bitterman, coautora del estudio, advirtió sobre la imprecisión de los consejos médicos que dan modelos de lenguaje como ChatGPT.
Is ChatGPT a reliable source for cancer treatment recommendations ????? Our study, out now in @JAMAOnc, found that the chatbot included guideline non-concordant recommendations for common cancer diagnoses 1/3 of the time: https://t.co/x1y1LfevAb #ChatGPT #LLM #NLProc
— Danielle Bitterman (@dbittermanmd) August 24, 2023
En específico, el análisis reveló que ChatGPT generaba respuestas inventadas en un 12.5 % de los casos, siendo específicamente problemático cuando se trataba de tratamientos avanzados de enfermedades.
La Comisión Federal de comercio de Estados Unidos (FTC) ya había iniciado una investigación sobre la precisión de la información proporcionada por ChatGPT tras una queja presentada por el Centro de Política y Política Digital (CAIDP), alegando que la inteligencia artificial violaba las leyes federales de protección al consumidor al carecer de evaluaciones independientes.
Este estudio resalta la importancia de utilizar herramientas de inteligencia artificial con precaución y evaluar su validez en campos críticos como la medicina y la seguridad pública. Los investigadores sugieren tres enfoques para mejorar la calidad de las respuestas de ChatGPT: un prompt preciso, establecer límites y la verificación de información.
