Giga ML quiere ayudar a las empresas a implementar LLM fuera de línea

La IA está de moda, en particular la IA generadora de texto, también conocida como grandes modelos de lenguaje (piense en modelos similares a ChatGPT). En una encuesta reciente realizada a aproximadamente 1000 organizaciones empresariales, el 67,2 % dice que considera que la adopción de modelos de lenguajes grandes (LLM) es una máxima prioridad para principios de 2024.

Pero hay barreras que se interponen en el camino. Según la misma encuesta, la falta de personalización y flexibilidad, junto con la incapacidad de preservar el conocimiento y la propiedad intelectual de la empresa, impedían (y impiden que muchas empresas implementen LLM en producción).

Eso hizo que Varun Vummadi y Esha Manideep Dinne pensaran: ¿Cómo sería una solución al desafío de adopción de LLM empresarial? En busca de uno, fundaron Giga ML, una startup que crea una plataforma que permite a las empresas implementar LLM en sus instalaciones, aparentemente reduciendo costos y preservando la privacidad en el proceso.

«La privacidad de los datos y la personalización de los LLM son algunos de los mayores desafíos que enfrentan las empresas cuando adoptan los LLM para resolver problemas», dijo Vummadi a Tecno en una entrevista por correo electrónico. «Giga ML aborda ambos desafíos».

Giga ML ofrece su propio conjunto de LLM, la «serie X1», para tareas como generar código y responder preguntas comunes de los clientes (por ejemplo, «¿Cuándo puedo esperar que llegue mi pedido?»). La startup afirma que los modelos, construidos sobre Llama 2 de Meta, superan a los LLM populares en ciertos puntos de referencia, particularmente el conjunto de pruebas MT-Bench para diálogos. Pero es difícil decir cómo se compara cualitativamente el X1; Este periodista probó la demostración en línea de Giga ML pero tuvo problemas técnicos. (La aplicación se agotó sin importar el mensaje que escribí).

Incluso si los modelos de Giga ML son Superiores en algunos aspectos, sin embargo, ¿pueden realmente causar sensación en el océano de los LLM de código abierto y fuera de línea?

Al hablar con Vummadi, tuve la sensación de que Giga ML no está tratando tanto de crear los LLM con mejor rendimiento que existen, sino de crear herramientas que permitan a las empresas ajustar los LLM localmente sin tener que depender de recursos de terceros. plataformas.

«La misión de Giga ML es ayudar a las empresas a implementar LLM de manera segura y eficiente en su propia infraestructura local o en una nube privada virtual», dijo Vummadi. «Giga ML simplifica el proceso de capacitación, ajuste y ejecución de LLM al encargarse de ello a través de una API fácil de usar, eliminando cualquier molestia asociada».

Vummadi enfatizó las ventajas de privacidad de ejecutar modelos fuera de línea, ventajas que probablemente sean persuasivas para algunas empresas.

Predibase, la plataforma de desarrollo de IA de código bajo, descubrió que menos de una cuarta parte de las empresas se sienten cómodas utilizando LLM comerciales debido a la preocupación de compartir datos confidenciales o de propiedad exclusiva con los proveedores. Casi el 77% de los encuestados dijeron que no usan o no planean usar LLM comerciales más allá de los prototipos en producción, citando problemas relacionados con la privacidad, el costo y la falta de personalización.

«Los gerentes de TI en el nivel C-suite encuentran valiosas las ofertas de Giga ML debido a la implementación segura en las instalaciones de LLM, modelos personalizables adaptados a su caso de uso específico y una inferencia rápida, que garantiza el cumplimiento de los datos y la máxima eficiencia». dijo Vummadi.

Giga ML, que hasta la fecha ha recaudado ~$3,74 millones en financiación de capital de riesgo de Nexus Venture Partners, Y Combinator, Liquid 2 Ventures, 8vdx y varios otros, planea en el corto plazo hacer crecer su equipo de dos personas y aumentar la I+D de productos. Una parte del capital también se destinará a respaldar la base de clientes de Giga ML. Vummadi, que actualmente incluye empresas «empresariales» anónimas en finanzas y atención médica.