Un nuevo estudio publicado en el BMJ revela que los modelos de inteligencia artificial también Pueden sufrir deterioro cognitivo con el tiempouna especie de «Alzheimer digital»que desafía la creencia de que estas tecnologías siempre mejorarán continuamente.
Los investigadores analizaron chatbots como ChatGPT, soneto y Géminis, utilizando pruebas cognitivas comunes en neurología, y encontraron diferencias notables en su rendimiento a lo largo del tiempo.
«Estos hallazgos desafían la suposición de que la inteligencia artificial pronto reemplazará a los médicos humanos.Dado que el deterioro cognitivo evidente en los chatbots principales puede afectar su confiabilidad en los diagnósticos médicos y socavar la confianza de los pacientes «, escribieron los autores del estudio.
Una disminución inesperada en la IA
Ciencia en vivo
La investigación se basó en Prueba de evaluación cognitiva de Montreal (MOCA)Diseñado para medir funciones como la atención, la memoria y las habilidades espaciales en humanos. Aunque los modelos de IA obtuvieron buenos resultados en tareas relacionadas con el lenguaje y la memoria, Fallaron en las pruebas visuales y ejecutivaslo que plantea dudas sobre su confiabilidad en entornos como la medicina.
Entre los hallazgos más destacados se encuentra la diferencia en los puntajes entre versiones de la misma tecnología. Mientras que la versión más reciente de ChatGPT alcanzó una puntuación de 26 de 30, Gemini 1.0, un modelo anterior, obtenido solo 16. Esto sugiere que algunos modelos de IA pueden volverse menos eficientes con el tiempo, en lugar de mejorar constantemente.
El estudio cuestiona el uso de FA en diagnósticos médicos. Aunque estas tecnologías han demostrado ser valiosas para detectar patrones en los datos clínicos, su deterioro cognitivo podría afectar su precisión. Los investigadores advierten que confiar plenamente en la IA sin supervisión humana podría ser un error.
Debate en la comunidad científica
Sin embargo, algunos expertos cuestionan la metodología de estudio. Argumentan que aplicar evidencia diseñada para humanos a los sistemas de IA puede no ser adecuada, ya que estas herramientas funcionan de manera diferente a la mente humana.
«MOCA fue diseñado para evaluar la cognición humanaincluyendo razonamiento espacial VISO y autoorganizaciones, facultades que no están alineadas con la arquitectura basada en texto de la LLM «, dijo Aya Awwad, investigadora del Hospital General de Mass en Boston, en una carta en respuesta al estudio.
Además, esa prueba no está diseñada para evaluar la inteligencia artificial, lo que podría invalidar algunos de los resultados obtenidos.
Por otro lado, Algunos investigadores creen que estos hallazgos deben considerarse en el desarrollo de futuros modelos de IA.
Roy Dayan, autor principal del estudio, aclaró que su intención no era equiparar la IA con la cognición humana, sino resaltar los desafíos en la integración de estos sistemas en áreas como la medicina. Además, defendió el uso del humor en el estudio publicado en la edición de Navidad de la BMJAunque reiteró que sus hallazgos deberían tomarse en serio.
«También esperábamos lanzar una mirada crítica sobre las investigaciones recientes en la intersección de la medicina y la IA, algunas de las que postulan LLM como sustitutos completos de médicos humanos«Dayan escribió en una carta en respuesta al estudio.
A medida que AI continúa evolucionando, es necesario evaluar sus limitaciones. Este estudio plantea preguntas importantes sobre la longevidad y la confiabilidad de los modelos de idiomas y cómo su rendimiento puede cambiar con el tiempo. La discusión permanece abierta, pero una cosa es segura, la IA no es infalible y requiere una supervisión constante y una mejora.
Saber Cómo trabajamos en Informática.
Etiquetas: Inteligencia artificial
Con información de Telam, Reuters y AP
