Un grupo de investigadores sometió al chatbot de IA a un cuestionario y sus respuestas de programación no fueron convincentes.
La expresión que dice, todo depende del vaso con el que lo midas también es aplicable a ChatGPT: Un estudio de ingeniería informática encontró que la Inteligencia Artificial generativa de OpenIA solo respondió correctamente la mitad de las preguntas que se le hicieron.
Mientras que hace unos años esto se habría considerado un gran avance, con las altas expectativas actuales para este software, se considera un rotundo fracaso.
Y aunque nadie discute que ChatGPT todavía tiene mucho espacio para el progreso además de la privacidad, sus altos niveles de popularidad le impiden fallan en sus diagnósticos.
Un equipo de investigadores de la Universidad de Purdue (Indiana, Estados Unidos) diseñó un examen con 517 preguntas sobre desarrollo de software, con el objetivo de poner a prueba sus conocimientos.
Fue así como ChatGPT se enfrentó Desbordamiento de pila, una plataforma de preguntas y respuestas para programadores. El equipo tuvo en cuenta la veracidad, consistencia, integridad y concisión del chatbot.
El resultado final fue decepcionante. “Nuestra revisión reveló que el 52 % de las respuestas de ChatGPT contienen inexactitudes y el 77 % son detalladas”detalla el artículo.
El estudio concluyó que la 54% de los errores cometido debido a la incapacidad de ChatGPT para comprender el contexto subyacente de la pregunta que se hace. Cuando lo entendía, a menudo tenía problemas para dar una respuesta correcta.
El equipo enfatiza la necesidad de tener mucho cuidado al usar las respuestas de ChatGPT en tareas de programación u otras áreas.
«Esperamos que este trabajo estimule más investigaciones sobre la transparencia y la notificación de inexactitudes en las respuestas generadas por máquinas», señalaron en el informe.
Un costo demasiado alto
Aunque OpenAI enumeró descuidadamente las profesiones que su chatbot podría reemplazar, un oscuro presente y futuro se cierne sobre la empresa y amenaza con posible quiebra.
La investigación realizada por SemiAnalysis revela que OpenAI paga $ 695,000 diariamente para mantener el chatbot a flote. Según la firma, el sistema consume aproximadamente 3.617 servidores HGX A100, que integran un total de 28.936 GPU.
Uno de los principales factores que contribuyen a estos costos descomunales son los chips especializados que exigen mucha energía para mantener el sistema en funcionamiento.
El salvavidas que aún lo mantiene a flote son los 10.000 millones de dólares pagado por Microsoft. Lo que muchos se preguntan es qué pasará cuando esto acabe.
A pesar de sus impresionantes capacidades, ChatGPT ha tenido problemas para generar suficientes ingresos para permitir que OpenAI cubra sus costos operativos, pero incluso las versiones más recientes, como GPT-3.5 y GPT-4, están teniendo dificultades para obtener ganancias realmente visibles. . considéralo una victoria.
SimilarWeb informa que la afluencia de usuarios al sitio web de ChatGPT experimentó una reducción del 12 % en julio de 2023 en comparación con junio, de 1700 millones a 1500 millones.
Además, las API de OpenAI se enfrentan a la competencia de varios modelos de lenguaje de código abierto, como LLaMA 2, que son de uso y modificación gratuitos. Estos modelos personalizables han ganado terreno al poder adaptarse a casos y escenarios específicos, lo que contrasta con las versiones restringidas de OpenAI.
SL