Trazado: El crecimiento exponencial en la computación con IA
Las computadoras electrónicas apenas habían existido durante una década en la década de 1940, antes de que comenzaran los experimentos con IA. Ahora tenemos modelos de IA que pueden escribir poesía y generar imágenes a partir de indicaciones textuales. Pero, ¿qué ha llevado a un crecimiento tan exponencial en tan poco tiempo?
Este gráfico de Our World in Data rastrea la historia de la IA a través de la cantidad de potencia de cálculo utilizada para entrenar un modelo de IA, utilizando datos de Epoch AI.
Las tres eras de la computación con IA
En la década de 1950, el matemático estadounidense Claude Shannon entrenó a un ratón robótico llamado Teseo para recorrer un laberinto y recordar su recorrido: el primer aprendizaje artificial aparente de cualquier tipo.
Theseus se construyó sobre 40 operaciones de punto flotante (FLOP), una unidad de medida utilizada para contar el número de operaciones aritméticas básicas (suma, resta, multiplicación o división) que una computadora o procesador puede realizar en un segundo.
ℹ️ FLOP Se utilizan a menudo como métrica para medir el rendimiento computacional del hardware de la computadora. Cuanto mayor sea el recuento de FLOP, mayor será el cálculo y más potente será el sistema.
El poder de computación, la disponibilidad de datos de entrenamiento y los algoritmos son los tres ingredientes principales del progreso de la IA. Y durante las primeras décadas de avances de la IA, calcular, que es la potencia computacional necesaria para entrenar un modelo de IA, creció según la Ley de Moore.
| Período | Era | Calcular la duplicación |
|---|---|---|
| 1950-2010 | Aprendizaje previo al profundo | 18 a 24 meses |
| 2010-2016 | Aprendizaje profundo | 5 a 7 meses |
| 2016-2022 | Modelos a gran escala | 11 meses |
Fuente: “Compute Trends Across Three Eras of Machine Learning” por Sevilla et. Alabama, 2022.
Sin embargo, al inicio del Era del aprendizaje profundoanunciado por AlexNet (una IA de reconocimiento de imágenes) en 2012, ese período de duplicación se acortó considerablemente a seis meses, a medida que los investigadores invirtieron más en computación y procesadores.
Con la aparición de AlphaGo en 2015, un programa informático que venció a un jugador profesional de Go, los investigadores han identificado una tercera era: la de la IA a gran escala modelos cuyas necesidades de cálculo eclipsan a todos los sistemas de IA anteriores.
Predecir el progreso de la computación de IA
Si analizamos la última década, la computación ha crecido tan tremendamente que es difícil de comprender.
Por ejemplo, la computación utilizada para entrenar a Minerva, una IA que puede resolver problemas matemáticos complejos, es casi 6 millones de veces el que se utilizó para entrenar a AlexNet hace 10 años.
Aquí hay una lista de modelos de IA importantes a lo largo de la historia y la cantidad de computación utilizada para entrenarlos.
| AI | Año | FLOP |
|---|---|---|
| Teseo | 1950 | 40 |
| Perceptrón marca I | 1957–58 | 695.000 |
| Neocognitrón | 1980 | 228 millones |
| NetTalk | 1987 | 81 mil millones |
| TD-Gammon | 1992 | 18 billones |
| NPLM | 2003 | 1.1 petaFLOP |
| alexnet | 2012 | 470 petaFLOP |
| AlfaGo | 2016 | 1,9 millones de petaFLOP |
| GPT-3 | 2020 | 314 millones de petaFLOP |
| Minerva | 2022 | 2.700 millones de petaFLOP |
Nota: Un petaFLOP = un cuatrillón de FLOP. Fuente: “Compute Trends Across Three Eras of Machine Learning” por Sevilla et. Alabama, 2022.
El resultado de este crecimiento en la computación, junto con la disponibilidad de conjuntos de datos masivos y mejores algoritmos, ha producido un gran progreso en la IA en aparentemente muy poco tiempo. Ahora la IA no sólo iguala, sino que también supera el desempeño humano en muchas áreas.
Es difícil decir si se mantendrá el mismo ritmo de crecimiento de la computación. Los modelos a gran escala requieren cada vez más potencia informática para entrenarse, y si la computación no continúa aumentando, podría ralentizar el progreso. Agotar todos los datos actualmente disponibles para entrenar modelos de IA también podría impedir el desarrollo y la implementación de nuevos modelos.
Sin embargo, con toda la financiación invertida recientemente en la IA, tal vez haya más avances a la vuelta de la esquina, como igualar el poder de cálculo del cerebro humano.
¿De dónde vienen estos datos?
Fuente: “Tendencias informáticas en tres eras del aprendizaje automático” por Sevilla et. Alabama, 2022.
Nota: El tiempo estimado para duplicar el cálculo puede variar según los diferentes intentos de investigación, incluidos Amodei y Hernandez (2018) y Lyzhov (2021). Este artículo se basa en los hallazgos de nuestra fuente. Consulte su artículo completo para obtener más detalles. Además, los autores son conscientes de las preocupaciones enmarcadas al considerar un modelo de IA de «tamaño normal» o «de gran tamaño» y dijeron que se necesita más investigación en el área.
Metodología: Los autores del artículo utilizaron dos métodos para determinar la cantidad de computación utilizada para entrenar modelos de IA: contar la cantidad de operaciones y rastrear el tiempo de GPU. Ambos enfoques tienen desventajas, a saber: falta de transparencia en los procesos de capacitación y gran complejidad a medida que crecen los modelos de ML.
Este artículo se publicó como parte del Programa de Creadores de Visual Capitalist, que presenta imágenes basadas en datos de algunos de nuestros Creadores favoritos de todo el mundo.
Continuar leyendo: El crecimiento exponencial de la computación con IA
