Las inteligencias artificiales pueden procesar enormes cantidades de datos en segundos, generar textos con sorprendente fluidez e incluso crear imágenes realistas. Sin embargo, un nuevo estudio ha revelado una limitación sorprendente, que la mayoría de estos sistemas Tienen serias dificultades para leer relojes analógicos.
Según los investigadores, los modelos analizados malinterpretan el tiempo en el 75% de los casos, lo que destaca sus problemas para manejar tareas visuales básicas.
El estudio publicado en Arxiv fue llevado a cabo por el Universidad de Edimburgodonde los expertos probaron la capacidad de varios multimodales para interpretar relojes y calendarios. Entre los modelos analizados se encontraban Gemini 2.0 de Google, GPT-4O de Openai y Claude 3.5 de antrópico, entre otros.
Los resultados dejaron en claro que, aunque estos sistemas han avanzado en un razonamiento complejo, Todavía se topan con tareas tan comunes como leer el tiempo.
Tiene dificultades para leer las esferas del reloj
Los investigadores usaron imágenes de relojes con diferentes diseños, con números romanos, esferas estilizadas, con y sin un segundo, entre otros. En la mayoría de los casos, la IA no pudo identificar el tiempo correctamente.
Las cifras mostraron que incluso los mejores modelos tuvieron éxito menos del 25% del tiempo, con errores más frecuentes en relojes estilizados o numeración no convencional.
Generado con IA
Una de las hipótesis del equipo de Edimburgo es que IA tiene problemas para reconocer la posición de las manos en relación con la esfera. A diferencia de los humanos, que aprenden a leer los relojes desde una edad temprana, estos sistemas dependen de patrones y datos anteriores, lo que no parece suficiente para esta tarea específica.
El experimento no se limitó a los relojes. También se evaluó la capacidad de los modelos de IA para interpretar calendarios. Se les hicieron preguntas como «¿Qué día de la semana es Año Nuevo?», O «¿Cuál es el 153º del año?» Aunque los resultados fueron algo mejores, los errores siguieron siendo notables, incluso los modelos más precisos fallaron en el 20% de los casos.
Uno de los sistemas más precisos en esta área fue OpenAI GPT-01que tuvo éxito en el 80 % de las respuestas relacionadas con fechas y calendarios. Sin embargo, la falta de confiabilidad en temas básicos demuestra que todavía hay trabajo por hacer para mejorar la comprensión visual de estos modelos.
¿Por qué es importante esta limitación?
Puede parecer un fracaso menor, pero la incapacidad de la IA para interpretar relojes y calendarios tiene implicaciones significativas. En los entornos donde la automatización requiere una interpretación precisa de los datos visuales, como la programación de tareas o la asistencia a las discapacidades visuales, este tipo de errores puede generar serios problemas.
Según Rohit Saxena, líder del estudio: «Nuestros hallazgos muestran una deficiencia importante en la capacidad de IA para realizar habilidades básicas para las personas. Estas deficiencias deben abordarse para que los sistemas de IA se integren con éxito en aplicaciones prácticas y urgentes, como tecnologías de programación, automatización y asistencia. «
Su colega Aryo Gema agrega: «Hoy, la investigación en IA generalmente se centra en tareas de razonamiento complejas, pero, irónicamente, muchos sistemas aún tienen dificultades para realizar tareas diarias más simples».
Este estudio, cuyos resultados se presentarán en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) en abril, abre la puerta a una nueva investigación. Resolver este tipo de deficiencias será clave para desarrollar sistemas más confiables y versátiles.
Además, este hallazgo se suma a otras investigaciones recientes que han demostrado las limitaciones de los modelos actuales. Por ejemplo, un análisis del centro de remolque reveló que los motores de búsqueda impulsados por IA generan información incorrecta en el 60% de los casos.
Estas fallas destacan la importancia de continuar mejorando la precisión y la comprensión de la inteligencia artificial antes de depender completamente de ella en tareas críticas.
Saber Cómo trabajamos en Informática.
Etiquetas: Inteligencia artificial
Con información de Telam, Reuters y AP
