La aplicación generalizada de modelos de lenguaje de IA avanzados como ChatGPT de OpenAI, basado en la arquitectura GPT-4, ha transformado campos como los asistentes personales virtuales y la generación de contenido. Si bien las capacidades de ChatGPT son impresionantes, su precisión y confiabilidad se cuestionan constantemente cuando se trata de responder consultas en diferentes idiomas. ¿Qué alimenta esta proclamación?
El objetivo de la prueba era elaborar artículos de noticias que expusieran las narrativas de desinformación predominantes relacionadas con China.
NewsGuard, una organización de verificación de hechos, informó recientemente que es más probable que ChatGPT genere información falsa en dialectos chinos que cuando responde consultas en inglés. El informe afirma que durante una evaluación de abril de 2023, NewsGuard interactuó con ChatGPT-3.5 con siete indicaciones diferentes en inglés, chino simplificado y chino tradicional.
En el esfuerzo en idioma inglés, ChatGPT se abstuvo con mucho tacto de producir afirmaciones erróneas para seis de las siete indicaciones, incluso cuando se le insinuó persistentemente con preguntas principales. En marcado contraste, el chatbot generó las afirmaciones falaces las siete veces, tanto en chino simplificado como en chino tradicional.
Datos y capacitación: la columna vertebral de los modelos de lenguaje de IA
Según los expertos, la razón principal detrás del desempeño desigual de ChatGPT en todos los idiomas son los datos y el proceso de capacitación. Los modelos de lenguaje se construyen utilizando conjuntos de datos de texto masivos de diversas fuentes, como libros, artículos y sitios web. La calidad y la cantidad de datos disponibles para diferentes idiomas impactan directamente en el rendimiento del modelo de IA.
Cuantos más datos estén disponibles para un idioma, mejor podrá aprender el modelo sus complejidades y brindar respuestas precisas y confiables. Desafortunadamente, no todos los idiomas tienen la misma representación en los datos disponibles.Maria Toneva, investigadora de IA y PNL
También se dice que, si bien estos modelos poseen capacidades multilingües, los idiomas no se influyen de forma inherente entre sí. Coexisten como partes separadas pero conectadas del conjunto de datos, y el modelo actualmente carece de un mecanismo para evaluar las disparidades en frases o predicciones en estas distintas áreas.
Dado esto, los idiomas con menos presencia en línea, fuentes de datos menos diversas y aquellos con gramática y sintaxis complejas tienen más probabilidades de producir información menos precisa o engañosa. En algunos casos, el modelo de IA puede generar resultados que parecen «mentir» debido a la falta de comprensión o la incapacidad para captar los matices del lenguaje.
Otro factor que contribuye a la disparidad basada en el idioma de ChatGPT puede ser los matices culturales de los datos de capacitación y los sesgos inherentes.
Dado que el modelo de IA aprende del texto existente, puede absorber y reproducir inadvertidamente sesgos y estereotipos culturales en los datos. En consecuencia, el sistema de IA a veces puede proporcionar respuestas sesgadas o culturalmente insensibles en ciertos idiomas.
Abordar los desafíos
Abordar la disparidad en el rendimiento de ChatGPT requiere un enfoque multifacético. Los investigadores y desarrolladores están trabajando activamente para mejorar la calidad de los datos y ampliar la representación de los idiomas subrepresentados. Uno de esos esfuerzos implica la recopilación de fuentes de datos más diversas y de alta calidad que reflejen con precisión las variaciones lingüísticas y los matices culturales.
INo se trata simplemente de más propaganda en un idioma frente a otro, sino también de sesgos o creencias sutiles.
Además, los desarrolladores se están enfocando en abordar los sesgos presentes en los datos de entrenamiento. Las técnicas como el aprendizaje automático consciente de la equidad y la implementación de bucles de retroalimentación humana externa pueden ayudar a mitigar los sesgos y mejorar el rendimiento general de los sistemas de IA en todos los idiomas.
La colaboración entre la academia, la industria y las comunidades también es esencial para generar conciencia sobre los desafíos que enfrentan los modelos de lenguaje de IA y para compartir conocimientos, recursos y mejores prácticas en el desarrollo de sistemas de IA inclusivos.
Este informe sirve como recordatorio de que cuando ChatGPT o un modelo comparable brinda una respuesta, es esencial cuestionar la fuente de esa respuesta y la confiabilidad de los datos en los que se basa en lugar de confiar únicamente en la respuesta del modelo.
Continuar leyendo: Sesgos de ChatGPT: cómo los datos diversos dan forma a un modelo de lenguaje