
Fernando Bujedo, un profesor, arqueólogo y divulgador de historia, puso a prueba la fiabilidad de las herramientas de inteligencia artificial (IA) diseñadas para detectar plagio y contenido generado automáticamente. Sin embargo, aunque todo empezó como un experimento, terminó por plantear serias dudas sobre qué tan efectiva es esta tecnología en el ámbito académico y profesional.
Mediante el uso de JustDone.ia, una herramienta de detección de IA, Bujedo sometió un fragmento de su Trabajo Final de Máster (TFM) de 2017, cuando estas herramientas ni siquiera existían. Sorprendentemente, el programa determinó que 89 % del texto había sido generado por IA. “Podría ser una falso positivo, todas las máquinas se equivocan”, pensó Bujedo.
Para empezar, puse un fragmento de mi TFM y me salió esto. Podría alguien pensar que he usado IA para escribirla, pero es que escribí mi TFM en 2017, hace 8 años ???? pic.twitter.com/NERYb1A97D
— Historia Crítica ???????? (@CriticaLectura) March 4, 2025
Posteriormente puso a prueba una traducción del historiador romano del siglo IV d.C., Amiano Marcelino, pero JustDone.ia determinó que 95 % del texto había sido creado por una IA generativa. Tras estos resultados, Bujedo optó por probar con la frase “Sobre la República”, atribuida por Cicerón en el siglo I a.C., pero el detector determinó que existía una probabilidad de 90 % de que esta hubiera sido creada por una IA. “El detector determinó que Cicerón usó ChatGPT para escribirla” comentó Bujedo con ironía.
Bueno, "podría ser un falso positivo, todas las máquinas se equivocan", pensé????
— Historia Crítica ???????? (@CriticaLectura) March 4, 2025
Así que me propuse hacer otra prueba y puse este texto. 95% de texto generado por IA, tiene que haber acertado por huevos, ¿verdad? pic.twitter.com/AupOv6Q4Xj
Sin embargo, la prueba definitiva de Bujedo consistió en poner a la herramienta a analizar las primeras líneas de una de las obras más emblemáticas de la literatura universal, “Don Quijote de la Mancha”. Aún más sorprendente fue cuando JustDone.ia aseguró que estas líneas tenían 78 % de probabilidad de haber sido creadas por una IA. “Quizás Cervantes era un Terminator y nunca lo habíamos sospechado, pero sería normal porque hay que tener una inteligencia privilegiada para escribir tal joya”, comentó el profesor.
Ya con una mezcla entre descojonado y cabreado me digo "voy a hacer la PRUEBA DEFINITIVA", porque esto no puede ser ya un error suelto, esto es una coña.
— Historia Crítica ???????? (@CriticaLectura) March 4, 2025
Y pasó lo que veis aquí ???????????????????????? pic.twitter.com/chmxog5GsG
Después de recibir los resultados erróneos, Bujedo concluyó que los detectores de IA tienen un gran problema al lanzar “falsos positivos” y penalizar textos bien escritos o con lenguaje formal. “El criterio humano es imprescindible para poder hacer una valoración ecuánime y justa de la redacción y composición de un trabajo académico o profesional”, determinó Bujedo.
Con este experimento se demostró la falta de fiabilidad de las herramientas para distinguir entre un texto generado por una inteligencia artificial y uno escrito por un humano, y aunque el fin de esta tecnología es que no haya distinción, estos errores podrían generar problemas en el ámbito académico y profesional, sobre todo cuando la originalidad y la autoría son elementos primordiales.