Mientras que el aprendizaje profundo (aprendizaje profundo) educa a las máquinas para procesar datos como el cerebro humano, el llamado «caja negra» que oculta las predicciones arbitrarias de los algoritmos de inteligencia artificial (IA) preocupa cada vez más a los expertos en este campo.
La «caja negra» aparece cuando los desarrolladores de estos sistemas dejar de entender lo que está pasando en los callejones que la IA abre en su camino lógico, algo que dificulta la control de sus acciones.
Muchos incluso temen que esta falta de transparencia lleve a consecuencias irreversiblessobre todo si esta inteligencia sintética logra habilidades para las que no estaba preparada o adquiere total autonomía.
La alarma saltó hace semanas, cuando un grupo de ingenieros de Google estaban programando un software de IA y se sorprendieron al descubrir que, sin ninguna iniciación previa, había aprendido a conectarse un nuevo idioma.
CEO de Google, sundar pichaiindicó que esta capacidad de los programas de IA de generar habilidades o dar respuestas de forma inesperada es lo que se conoce como el «caja negra».
Lejos de entrar en pánico, Pichai agregó: «Tampoco creo que entendamos completamente cómo funciona la mente humana». Y convocó a especialistas de diferentes áreas para que se sumen a la discusión, a fin de que el proceso sea menos nebuloso.
un camino sin retorno
Algunos teóricos entienden que se ha alcanzado un punto de inflexión en el que ciertos tipos de IA ya han superado a otros. la mente humana. El problema es que la condición finita del hombre es incapaz de abarcar lo infinito: la IA avanzada.
Un ejemplo de una IA «infinita» sería ChatGPT, que puede escribir ensayos de nivel universitario y código funcional. Además, arriesgue diagnósticos médicos, cree juegos basados en texto y explique conceptos científicos en múltiples niveles de dificultad.
“Se prueban modelos de Machine Learning para determinar si funcionan correctamente y cuál es el grado de error que tienen. Ya que los sistemas de IA no son infalibles: la máquina sugiere una decisión o solución y el humano es quien decide si se cumple”, advierte marcela riccilloDoctor en informática, experto en IA y robótica.
A diferencia de la programación más tradicional, basada en la implementación de instrucciones para obtener un resultado, en el desarrollo de IA los ingenieros trabajan para lograr un sistema que imite las «redes neuronales» de la inteligencia humana.
lógica matemática
De hecho, los algoritmos de aprendizaje profundo se entrenan de la misma manera que un maestro explica un nuevo concepto a un niño. Hasta que finalmente se le ocurre la idea.
Por lo general, se recurre a ejemplos de algo que puede reconocer y, en poco tiempo, sus propias inclinaciones de búsqueda habrán creado una «red neuronal» para categorizar cosas que nunca antes había experimentado.
“Algunas de las técnicas matemáticas de Machine Learning descomponen sus resultados, como los árboles de decisión. En cambio, las redes neuronales, por su enorme complejidad, no. En ambos casos se conoce cómo es su estructura, cómo son internamente y cuál es el método de aprendizaje. Además, en Redes Neuronales se desconoce el camino a sus conclusiones y tampoco se pueden justificar los resultados”, advierte Riccillo.
Al igual que con la inteligencia humana, hay poca conciencia de cómo un sistema de aprendizaje profundo llega a sus conclusiones. Como señala Yoshua Bengio, un pionero en este campo, «una vez que tienes una máquina lo suficientemente complicada, se vuelve casi imposible explicar lo que hace».
El fenómeno de las “cajas negras” en IA es preocupante por la falta de comprensión y control sobre cómo estos sistemas adquieren habilidades o dan respuestas de formas inesperadas.
Esta situación plantea interrogantes éticos sobre los riesgos potenciales asociados a la tecnología y sus posibles efectos en una sociedad que se encuentra indefensa frente a estos avances cibernéticos.
La caja de Pandora de los algoritmos
El gran reto en este campo es la elaboración de técnicas que justifiquen la decisión tomada por un algoritmo de aprendizaje automático sin abrir la caja de Pandora.
Pero explicar las decisiones de IA después de que sucedan puede tener implicaciones peligrosas, argumenta Cynthia Rudin, profesora de informática en la Universidad de Duke.
“Las Redes Neuronales -particularmente el Deep Learning- utilizadas en ChatGPT son cuestionadas por no explicar los resultados. Varias empresas están tratando de lograr esto. Pero si una aplicación con Machine Learning no aprende bien, en cada técnica se puede intentar mejorar el modelo, aunque no siempre es posible. Si explican o no sus resultados”, dice Riccillo.
Apelando a la sinceridad mecánica de ChatGPT, este cronista le consultó sobre los sesgos que enmascara la caja negra en la IA Generativa.
“La caja negra está fuera del alcance humano en los sistemas de IA que utilizan algoritmos complejos, como las redes neuronales profundas. A veces puede ser difícil para las personas entender cómo se tomó una decisión específica, ya que puede haber múltiples capas de procesamiento y cálculo que son difíciles de seguir».
Estos modelos opacos están ganando terreno en algunos lugares de trabajo y sus derrames ya están dejando una estela de consecuencias. Desde aprobar una biopsia de un posible tumor, conceder una fianza, bombardear una zona militar o aprobar una solicitud de crédito.
Actualmente, unos 581 modelos involucrados en decisiones médicas han recibido autorización de la Administración de Alimentos y Medicamentos. Cerca de 400 están destinados a ayudar a los radiólogos a detectar anomalías en las imágenes médicas, como tumores malignos o signos de un derrame cerebral.
SL