Operai, como muchos laboratorios de IA, cree que los puntos de referencia de IA están rotos. Dice que quiere arreglarlos a través de un nuevo programa.
Llamado el programa Pioneers Operai, el programa se centrará en crear evaluaciones para modelos de IA que «establecen la barra para lo que se ve bien», como lo expresó OpenAI en una publicación de blog.
«A medida que el ritmo de la adopción de IA se acelera en todas las industrias, existe la necesidad de comprender y mejorar su impacto en el mundo», continuó la compañía en su puesto. «La creación de evals específicas de dominio es una forma de reflejar mejor los casos de uso del mundo real, ayudando a los equipos a evaluar el rendimiento del modelo en entornos prácticos y de alto riesgo».
Como ilustran la reciente controversia con el Benchmark LM Arena de Crowdsourced y el modelo Meta Maverick, es difícil saber, en estos días, precisamente qué diferencia un modelo de otro. Muchos puntos de referencia de IA ampliamente utilizados miden el rendimiento en las tareas esotéricas, como resolver problemas matemáticos a nivel de doctorado. Otros pueden ser jugados o no se alinean bien con las preferencias de la mayoría de las personas.
A través del Programa Pioneros, Operai espera crear puntos de referencia para dominios específicos como legal, finanzas, seguros, atención médica y contabilidad. El laboratorio dice que, en los próximos meses, funcionará con «compañías múltiples» para diseñar puntos de referencia personalizados y eventualmente compartir esos puntos de referencia públicamente, junto con evaluaciones «específicas de la industria».
«La primera cohorte se centrará en las nuevas empresas que ayudarán a sentar las bases del programa Pioneers de OpenAI», escribió Openai en la publicación del blog. «Estamos seleccionando un puñado de nuevas empresas para esta cohorte inicial, cada una trabajando en casos de uso aplicados de alto valor en los que la IA puede impulsar el impacto del mundo real».
Las empresas en el programa también tendrán la oportunidad de trabajar con el equipo de OpenAI para crear mejoras de modelos a través de un ajuste fino de refuerzo, una técnica que optimiza los modelos para un conjunto estrecho de tareas, dice OpenAI.
La gran pregunta es si la comunidad de IA adoptará puntos de referencia cuya creación fue financiada por OpenAI. Operai ha apoyado los esfuerzos de evaluación financiera financieramente antes y ha diseñado sus propias evaluaciones. Pero asociarse con clientes para lanzar pruebas de IA puede verse como un puente ético demasiado lejos.
