Cuatro chatbots de IA generativos principales: el chatgpt de OpenAi, el copiloto de Microsoft, el géminis de Google y la perplejidad IA, hicieron un trabajo de mala calidad al resumir las noticias, un estudio de la BBC encontrado.
La organización alimentó el contenido de su sitio web a los servicios y luego les hizo preguntas sobre las noticias. Más de la mitad de las respuestas contenían «inexactitudes significativas» y distorsiones, dijo la BBC.
Ejemplos de errores incluyeron a Gemini que decía incorrectamente que el Servicio Nacional de Salud del Reino Unido no recomendó vapear como una ayuda para dejar de fumar y Chatgpt y copilotear, indicando erróneamente que los políticos Rishi Sunak y Nicola Sturgeon todavía estaban en el cargo. La perplejidad también citó mal un informe de noticias de la BBC sobre el Medio Oriente, diciendo que Irán mostró «moderación» y llamando a las acciones de Israel «agresivas», adjetivos que no aparecieron en el informe de noticias inicial.
«El precio de los extraordinarios beneficios de la IA no debe ser un mundo en el que las personas que buscan respuestas se sirvan contenido distorsionado y defectuoso que se presenta como un hecho», escribió la CEO de BBC News and Actual Affairs, Deborah Turness, en una publicación de blog. «En lo que puede parecer un mundo caótico, seguramente no puede ser correcto que los consumidores que buscan claridad se encuentren con más confusión».
Turness, quien fue presidente de NBC News de 2013 a 2017, señaló que la BBC está buscando varias iniciativas de IA y manteniendo conversaciones con compañías tecnológicas para desarrollar nuevas herramientas automatizadas. Pero pidió a los gigantes tecnológicos que retiren las alertas, planteando una pregunta marcada: «Vivimos en tiempos difíciles, y ¿cuánto tiempo pasará antes de que un titular distorsionado con IA cause un daño significativo en el mundo real?»
Los hallazgos se producen casi un mes después de que Apple dejó de enviar alertas de noticias impulsadas por AI después de que varios de ellos demostraron ser muy inexactos.
Los periodistas y organizaciones de noticias le dijeron al gigante tecnológico sobre una serie de gafas. Una alerta generada por Apple de BBC News dijo falsamente a los lectores que Luigi Mangione, el hombre acusado de disparar fatalmente al CEO de United Healthcare, se había disparado a sí mismo. (Fue arrestado y está en la cárcel en espera de juicio). Otro le dijo falsamente a algunos usuarios de aplicaciones de la BBC Sport que la estrella de tenis Rafael Nadal había salido como gay.
Turness saludó la «decisión audaz y responsable» de Apple de suspender las alertas dadas las «altas apuestas» del esfuerzo para acertar las cosas. «Las empresas que desarrollan herramientas de Gen AI están jugando con fuego», declaró.
En el estudio, la BBC solicitó a periodistas y expertos en categorías que evaluaran las respuestas de los chatbots. Determinaron que el 51% de todas las respuestas generadas por IA tenían fallas, con el 19% de las respuestas que citaban contenido de BBC que realmente introdujeron errores, incluidas declaraciones incorrectas de hechos, números y fechas.
Max Goldbart contribuyó a este informe.
