Si utiliza Google con regularidad, es posible que haya notado que las nuevas descripciones generales de IA de la compañía brindan respuestas resumidas a algunas de sus preguntas en los últimos días. Si utiliza las redes sociales con regularidad, es posible que tenga cruzar Hay muchos ejemplos de esas descripciones generales de la IA que son hilarantemente o incluso peligrosamente erróneas.
Por supuesto, también pueden aparecer errores de hecho en los chatbots LLM existentes. Pero el daño potencial que puede causar la inexactitud de la IA se multiplica cuando esos errores aparecen encima del valioso espacio web de la página de resultados de búsqueda de Google.
«Los ejemplos que hemos visto son consultas generalmente muy poco comunes y no son representativos de las experiencias de la mayoría de las personas», dijo un portavoz de Google a Ars. «La gran mayoría de las descripciones generales de IA proporcionan información de alta calidad, con enlaces para profundizar en la web».
Después de revisar docenas de ejemplos de errores de descripción general de IA de Google (y replicar muchos de nosotros mismos para las galerías a continuación), notamos algunas categorías amplias de errores que parecían aparecer una y otra vez. Considere esto como un curso intensivo sobre algunos de los puntos débiles actuales de las descripciones generales de IA de Google y una mirada a las áreas de preocupación que la empresa debe mejorar a medida que el sistema continúa implementándose.
Tratar los chistes como hechos
Algunos de los ejemplos más divertidos de fallas en la descripción general de la IA de Google se producen, irónicamente, cuando el sistema no se da cuenta de que una fuente en línea estaba tratando de ser graciosa. Una respuesta de IA que sugería usar «1/8 de taza de pegamento no tóxico» para evitar que el queso se deslice de la pizza se remonta a alguien que obviamente estaba tratando de controlar un hilo en curso. Una respuesta que recomienda «líquido intermitente» para una señal de giro que no hace ruido también se remonta a un troll en los foros de consejos de Good Sam, en los que AI Overview de Google aparentemente confía como una fuente confiable.
En las búsquedas habituales de Google, estas publicaciones jocosas de usuarios aleatorios de Internet probablemente no estarían entre las primeras respuestas que alguien vio al hacer clic en una lista de enlaces web. Pero con AI Overviews, esos trolls se integraron en el resumen de datos que parecía autorizado y que se presenta justo en la parte superior de la página de resultados.
Es más, no hay nada en los pequeños cuadros de «enlace de fuente» debajo del resumen de inteligencia artificial de Google que sugiera que cualquiera de estos trolls del foro sea algo más que buenas fuentes de información. A veces, sin embargo, echar un vistazo a la fuente puede ahorrarle algo de dolor, como cuando ve una respuesta que dice correr con tijeras «ejercicio cardiovascular que algunos dicen que es efectivo» (que proviene de una publicación de 2022 de Little Old Lady Comedy).
Mal abastecimiento
A veces, la descripción general de IA de Google ofrece un resumen preciso de una fuente que no es una broma y que resulta ser incorrecta. Al preguntar cuántos firmantes de la Declaración de Independencia poseían esclavos, por ejemplo, AI Overview de Google resume con precisión una página de la biblioteca de la Universidad de Washington en St. Louis que dice que un tercio «eran esclavizadores personalmente». Pero la respuesta ignora fuentes contradictorias como un artículo del Chicago Sun-Times que dice que la respuesta real se acerca más a las tres cuartas partes. No soy lo suficientemente experto en historia para juzgar qué fuente aparentemente autorizada tiene razón, pero al menos un historiador en línea discrepó con la fuente de respuestas de Google AI.
Otras veces, una fuente en la que Google confía como autorizada es en realidad simplemente fan fiction. Ese es el caso de una respuesta que imaginaba una nueva versión de 2022 de 2001: Una odisea en el espacio, dirigida por Steven Spielberg y producida por George Lucas. Un usuario web inteligente probablemente lo tomaría dos veces antes de citar «Idea Wiki» de Fandom como una fuente confiable, pero un usuario descuidado de AI Overview podría no darse cuenta de dónde obtuvo la IA su información.