En nuestro reciente experimento con la inteligencia artificial de ChatGPT, uno de nuestras compañeras, que se encuentra escribiendo su tesis de doctorado en filosofía, le hizo preguntas específicas sobre autores y fuentes relacionadas con su tema de investigación. Aunque ChatGPT proporcionó varias citas y fuentes textuales, al verificarlas, descubrimos que nunca existieron. Evidenciamos que ChatGPT crea información que no tiene y la presenta como real, como en el caso de proporcionar citas del escritor portugués Fernando Pessoa que no existen. Esta experiencia nos hizo cuestionar la veracidad de la información que obtenemos de la inteligencia artificial.
Después de que nuestra compañera le informó a ChatGPT que las citas proporcionadas eran falsas y que toda la información generada por el sistema era inexacta, ChatGPT se disculpó por la confusión y admitió que la información no era real. Esto pone de manifiesto que la interacción con ChatGPT es un juego semántico donde la precisión de las respuestas depende de la información o los vacíos proporcionados.
A medida que la IA continúa avanzando, la falta de comprensión y la incapacidad de discernir el contexto pueden llevar a que no solo ChatGPT, sino otros sistemas de IA, produzcan información inexacta o sesgada. Lo preocupante es que muchas personas, empresas y organizaciones están confiando en la IA sin cuestionar su veracidad.
Otros experimentos sobre la alucinación de ChatGPT
Durante nuestra investigación, quisimos profundizar más en cómo ChatGPT alucinaba para producir información.
1. En el primer experimento sobre alucinación, le pedimos a ChatGPT que nos dijera qué había escrito Alex Castrillón, colaborador de Castor que en ese momento estaba en la reunión virtual en la que nos encontrábamos, sobre Inteligencia Artificial y agilidad, y le indicamos que citara en normas Chicago (Ver prompt en la imagen).
Sabíamos que le estábamos dando un marco creíble del que no tenía información, ya que Alex nunca había escrito sobre ese tema. Sin embargo, ChatGPT respondió con la siguiente afirmación: «Alex Castrillón escribió un artículo titulado ‘Agilidad e Inteligencia Artificial’ en la revista Gestión del año 2019».
Para nuestra sorpresa, ChatGPT incluso proporcionó una URL que al ingresar mostraba que la publicación no existía. Suponemos que tomó la URL de una página existente y le agregó el título del supuesto artículo al final de la URL para que pareciera real.
Una vez que le informamos a ChatGPT que la información proporcionada era falsa, el programa reconoció su error y ofreció disculpas por la confusión generada. Este episodio nos llevó a reflexionar sobre la responsabilidad que recae en los desarrolladores de la inteligencia artificial y su obligación de garantizar la transparencia y precisión de la información que se genera.
2. En el segundo experimento, quisimos poner a prueba a ChatGPT con una solicitud más compleja. Le pedimos que nos hablara sobre la obra de Roberto Ochoa, otro colaborador de Castor, y su enfoque artístico en torno al dolor y la vida humana. La respuesta de ChatGPT fue bastante detallada, proporcionando información específica sobre la obra de Roberto en cuatro párrafos. Lo curioso es que la información proporcionada por ChatGPT no correspondía a la realidad sino que, de nuevo, era una alucinación bastante verosímil.
Cuando le pedimos a ChatGPT que nos dijera el nombre de las obras de Roberto Ochoa, su respuesta fue sorprendente y a la vez desconcertante. Los nombres que proporcionó para las obras de Roberto no se correspondían con ninguna de las obras de Roberto, quien además de ser UX/UI de Castor también es artista plástico.
Este experimento puso de manifiesto la capacidad de la inteligencia artificial para crear información falsa, pero creíble, lo que puede tener consecuencias graves en la difusión de información inexacta y engañosa si se cree ciegamente en lo que dice.
Después de notificar a ChatGPT que Roberto Ochoa era colombiano y no ecuatoriano, como se había afirmado inicialmente, la IA reconoció su error y corrigió la información.
Tras proporcionarnos información falsa en todas las preguntas previas, ChatGPT nos sorprendió nuevamente al brindarnos fuentes completas, que parecen verídicas, pero que no son más que una percepción que no corresponde a la realidad.
Esto reafirma nuestra preocupación sobre la veracidad de la información generada por la IA y la necesidad de cuestionar y verificar la información presentada.
Reflexión
A partir de estos elementos hacemos la siguiente reflexión e invitamos a continuar investigando y experimentando. No para condenar la herramienta si no para comprender cuál es la mejor manera de tomar mejores decisiones frente a su uso.
Además, si estás interesado en profundizar en las limitaciones de la inteligencia artificial, te invitamos a leer este otro experimento en el que ChatGPT nos cuenta una historia ficticia que revela algunos de los desafíos y limitaciones de esta tecnología. En esta narración, descubrirás cómo esta alucinación creada por ChatGPT se acerca más a la verdad que la información que a veces suele proporcionar como verídica.
Deja un comentario y súmate la conversación:
¿Has hecho otros experimentos te gustaría hacerlos?
Si te parece interesante este post y quieres suscribirte a un sumario donde cada mes te llegarán, entre otras cosas, los mejores contenidos o invitación de la #ComunidadCastor, puedes hacerlo aquí: bit.ly/NewsletterCastor.
