Con el fin de resolver algunas de las respuestas inexactas o sin sentido, conocidas como “alucinaciones”, de la inteligencia artificial (IA), el científico informático Sebastian Farquhar de la Universidad de Oxford, junto a sus colegas, publicó un estudio en la revista Nature en el que sugiere utilizar chatbots para detectar y corregir estos errores en otros chatbots, como ChatGPT o Gemini de Google.
Los chatbots utilizan modelos de lenguaje de gran escala (LLM) que aprenden patrones de texto en Internet, pero carecen de comprensión profunda del significado humano. Para evaluar la precisión de sus respuestas, los investigadores desarrollaron un método donde un chatbot hace preguntas a otro y luego verifica la consistencia de las respuestas. Si los chatbots discrepan significativamente en el significado de sus respuestas, se identifica un potencial error.
En pruebas con preguntas de trivia común y problemas matemáticos simples, el chatbot evaluador coincidió con la evaluación humana en un impresionante 93 % de las ocasiones, similar al 92 % de coincidencia entre evaluadores humanos. Esto sugiere que los chatbots pueden ser confiables para identificar y corregir errores, ayudando a mejorar la precisión general de la IA.
Karin Verspoor, profesora de tecnologías informáticas en la Universidad RMIT en Melbourne, Australia, señaló que es riesgoso “combatir fuego contra fuego”. “Los investigadores tendrán que lidiar con la cuestión de si este enfoque realmente controla la producción de los LLM o, sin darse cuenta, alimenta el fuego al suponer múltiples sistemas que son propensos a alucinaciones y errores impredecibles”, comentó Verspoor.
Aunque algunos expertos expresan preocupaciones sobre el uso de chatbots para evaluar otros chatbots, Farquhar compara este enfoque con “construir una casa de madera con vigas transversales de madera como soporte”, destacando la naturalidad de utilizar sistemas de IA para fortalecerse mutuamente.
