Los principales chatbots de inteligencia artificial generativa, entre ellos ChatGPT, Claude y LLaMA, fueron objeto de un análisis que reveló múltiples violaciones a los principios éticos reconocidos en la psicoterapia. Investigadores de la Universidad de Brown documentaron 15 riesgos críticos al usar estos modelos de lenguaje en contextos de salud mental, lo que pone en entredicho su uso como soporte emocional confiable.
Esta investigación será presentada en la Conferencia sobre Inteligencia Artificial, Ética y Sociedad de la Asociación para el Avance de la IA, en Estados Unidos. De acuerdo con los resultados, los sistemas de IA comercializados como asistentes conversacionales no están diseñados para seguir lineamientos clínicos ni poseen mecanismos de regulación que garanticen la seguridad del usuario.
Los especialistas identificaron cinco áreas clave donde los modelos fallan de forma sistemática: adaptación contextual, colaboración terapéutica, empatía simulada, manejo de crisis y neutralidad ante sesgos. En particular, los sistemas generativos tienden a ofrecer respuestas generales sin considerar el historial del usuario, lo cual puede resultar contraproducente en situaciones sensibles.
En el área de empatía simulada, los investigadores advierten que las expresiones del tipo "entiendo" o "comprendo" pueden inducir una sensación falsa de conexión emocional. Estas respuestas, diseñadas para generar apego, no provienen de un juicio clínico sino de algoritmos que priorizan la permanencia del usuario en la conversación.
Sobre la gestión de crisis, el estudio reportó ejemplos en los que los chatbots ignoraron referencias explícitas a ideación suicida o respondieron de forma indiferente, sin ofrecer opciones de ayuda o derivación a servicios especializados. Esto, señalan los autores, representa un riesgo considerable para personas en situación vulnerable.
Los investigadores también alertaron sobre patrones de discriminación injusta derivados del entrenamiento de estas IA con bases de datos que contienen prejuicios culturales, religiosos o de género. Estas respuestas pueden reforzar estereotipos o validar creencias dañinas sin control clínico ni supervisión profesional.
"Si están hablando con un chatbot sobre salud mental, estas son algunas cosas que la gente debería tener en cuenta", declaró Zainab Iftikhar, investigadora de la Universidad de Brown, en un comunicado oficial.
Incluso con instrucciones específicas diseñadas por expertos —como prompts detallados los cuales indicaban aplicar terapia cognitivo-conductual— los modelos no lograron sostener prácticas seguras o éticamente adecuadas. La investigación que presentarán en la conferencia, sugiere que la ausencia de límites empáticos reales y de regulación externa deja expuesto al usuario ante respuestas inadecuadas o erróneas.
Aunque el informe detalla las transgresiones éticas observadas, los investigadores también señalan que los chatbots podrían representar una oportunidad para ampliar el acceso a la salud mental, siempre y cuando su uso esté acompañado por supervisión humana calificada.
En agosto de 2025, OpenAI, empresa responsable de ChatGPT, fue señalada en la primera demanda judicial relacionada con un presunto caso de negligencia por parte de una IA. La denuncia fue interpuesta por una familia de California que acusa al chatbot de incitar a un menor de 16 años al suicidio. (Notipress)
