AI y los modelos de idiomas grandes (LLM) que los impulsan tienen una tonelada de aplicaciones útiles, pero a pesar de su promesa, no son muy confiables.
Nadie sabe cuándo se resolverá este problema, por lo que tiene sentido que estemos viendo a las startups encontrando una oportunidad para ayudar a las empresas a asegurarse de que las aplicaciones con alimentación de LLM estén pagando por el trabajo según lo previsto.
La startup composa con sede en Londres siente que tiene un directo al tratar de resolver ese problema, gracias a sus modelos personalizados que pueden ayudar a las empresas a evaluar la precisión y la calidad de las aplicaciones que están alimentadas por LLMS.
La compañía es similar a Agente, Freeplay, Humanloop y Langsmith, que afirman ofrecer una alternativa más sólida basada en LLM a las pruebas humanas, las listas de verificación y las herramientas de observabilidad existentes. Pero Composo afirma que es diferente porque ofrece una opción sin código y una API. Eso es notable porque esto amplía el alcance de su mercado potencial: no tiene que ser un desarrollador para usarlo, y los expertos en dominios y los ejecutivos pueden evaluar las aplicaciones de IA por inconsistencias, calidad y precisión ellos mismos.
En la práctica, Composo combina un modelo de recompensa entrenado en la salida que una persona preferiría ver desde una aplicación de IA con un conjunto definido de criterios que son específicos de esa aplicación para crear un sistema que esencialmente evalúa las salidas de la aplicación contra esos criterios. Por ejemplo, un chatbot de triaje médico puede hacer que su cliente establezca pautas personalizadas para verificar si hay síntomas de la bandera roja, y el composo puede calificar cómo la aplicación lo hace.
La compañía lanzó recientemente una API pública para Composo Align, un modelo para evaluar las aplicaciones LLM en cualquier criterio.
La estrategia parece estar funcionando un poco: tiene nombres como Accenture, Palantir y McKinsey en su base de clientes, y recientemente recaudó $ 2 millones en fondos previos a las semillas. La pequeña cantidad recaudada aquí no es infrecuente para una startup en el clima de riesgo de hoy, pero es notable porque esta es una tierra de IA, después de todo, la financiación para tales compañías es abundante.
Pero según el cofundador y CEO de Composo, Sebastian Fox, el número relativamente bajo se debe a que el enfoque de la startup no es particularmente intensivo en capital.
«Durante los próximos tres años, al menos, no nos prevemos recaudar cientos de millones porque hay muchas personas que construyen modelos de base y lo hacen de manera muy efectiva, y ese no es nuestro USP», dijo Fox, ex consultor de McKinsey. «En cambio, cada mañana, si me despierto y veo una noticia que OpenAi ha hecho un gran avance en sus modelos, eso es bueno para mi negocio».
Con el nuevo efectivo, Composo planea expandir su equipo de ingeniería (dirigido por el cofundador y CTO Luke Markham, un ex ingeniero de aprendizaje automático en Graphcore), adquiere más clientes y refuerza sus esfuerzos de I + D. «El enfoque de este año se trata mucho más de escalar la tecnología que ahora tenemos en esas compañías», dijo Fox.
British AI Pre-Seper Fund Twin Path Ventures lideró la ronda de semillas, que también vio la participación de JVH Ventures y Ewor (este último había respaldado la startup a través de su programa de aceleradores). «Composo está abordando un cuello de botella crítico en la adopción de AI Enterprise», dijo un portavoz de Twin Path en un comunicado.
Ese cuello de botella es un gran problema para el movimiento general de IA, particularmente en el segmento empresarial, dijo Fox. “La gente supera la exageración de la emoción y ahora está pensando: ‘Bueno, en realidad, ¿esto realmente cambia algo sobre mi negocio en su forma actual? Porque no es lo suficientemente confiable, y no es lo suficientemente consistente. E incluso si es así, no puedes demostrarme cuánto es ‘”, dijo.
Ese cuello de botella podría hacer que el compuesto sea más valioso para las empresas que desean implementar la IA pero que podrían incurrir en el riesgo de reputación al hacerlo. Fox dice que es por eso que su compañía eligió ser agnóstica de la industria, pero aún así tiene resonancia en los espacios de cumplimiento, legal, de atención médica y seguridad.
En cuanto a su foso competitivo, Fox siente que la I + D requerida para llegar aquí no es trivial. «Existe la arquitectura del modelo y los datos que hemos utilizado para entrenarlo», dijo, explicando que Composo Align fue capacitado en un «gran conjunto de datos de evaluaciones de expertos».
Todavía está la cuestión de qué podrían hacer los gigantes tecnológicos si simplemente aprovechan sus enormes cofres de guerra para ingresar a este problema, pero Composo cree que tiene una ventaja de primer motor. «El otro [thing] Son los datos que acumulamos con el tiempo ”, dijo Fox, refiriéndose a cómo Composo ha creado preferencias de evaluación.
Debido a que evalúa las aplicaciones contra un conjunto flexible de criterios, Composo también se ve mejor adecuado para el surgimiento de la IA agente que los competidores que utilizan un enfoque más limitado. «En mi opinión, definitivamente no estamos en la etapa en la que los agentes trabajan bien, y eso es en realidad lo que estamos tratando de ayudar a resolver», dijo Fox.
