Una máquina maquiavélica plantea cuestiones éticas sobre la IA

El escritor es un comentarista científico.

Recuerdo la primera mentira de mi hija. Estaba de pie de espaldas a la pared de la sala de estar, crayón en la mano, tratando de ocultar un garabato expansivo. Su explicación fue tan creativa como su obra: “Papá, hazlo”.

El engaño es un hito en el desarrollo cognitivo porque requiere una comprensión de cómo los demás pueden pensar y actuar. Esa habilidad se muestra, de forma limitada, en Cicero, un sistema de inteligencia artificial diseñado para jugar a la Diplomacia, un juego de estrategia en tiempos de guerra en el que los jugadores negocian, hacen alianzas, fanfarronean, ocultan información y, a veces, engañan. Cicero, desarrollado por Meta y llamado así por el famoso orador romano, enfrentó su ingenio artificial contra jugadores humanos en línea, y superó a la mayoría de ellos.

La llegada de una IA que puede jugar el juego tan competentemente como las personas, revelada la semana pasada en la revista Science, abre la puerta a interacciones más sofisticadas entre humanos e IA, como mejores chatbots y una resolución óptima de problemas donde el compromiso es esencial. Pero, dado que Cicero demuestra que la IA puede, si es necesario, usar tácticas clandestinas para cumplir ciertos objetivos, la creación de una máquina maquiavélica también plantea la pregunta de cuánta agencia deberíamos subcontratar a los algoritmos, y si una tecnología similar debería emplearse alguna vez en diplomacia del mundo real.

El año pasado, la UE encargó un estudio sobre el uso de la IA en la diplomacia y su probable impacto en la geopolítica. “Nosotros, los humanos, no siempre somos buenos en la resolución de conflictos”, dice Huma Shah, especialista en ética de la IA de la Universidad de Coventry en el Reino Unido. “Si la IA pudiera complementar la negociación humana y detener lo que está sucediendo en Ucrania, ¿por qué no?”.

Al igual que el ajedrez, el juego de Diplomacia se puede jugar en un tablero o en línea. Hasta siete jugadores compiten por controlar diferentes territorios europeos. En una ronda inicial de diplomacia real, los jugadores pueden establecer alianzas o acuerdos para mantener sus posiciones o mover fuerzas, incluso para atacar o defender a un aliado.

El juego se considera un gran desafío en IA porque, además de la estrategia, los jugadores deben poder comprender las motivaciones de los demás. Hay tanto cooperación como competencia, con el riesgo de traición.

Eso significa que, a diferencia del ajedrez o el Go, la comunicación con los demás jugadores es importante. Cicero, por tanto, combina el razonamiento estratégico de los juegos tradicionales con el procesamiento del lenguaje natural. Durante un juego, la IA determina cómo podrían comportarse los demás jugadores en las negociaciones. Luego, al generar mensajes redactados apropiadamente, persuade, engatusa o coacciona a otros jugadores para que se asocien o hagan concesiones para ejecutar su propio plan de juego. Los científicos de Meta entrenaron a Cicero usando datos en línea de alrededor de 40,000 juegos, incluidos 13 millones de mensajes en el juego.

Después de jugar con 82 personas en 40 juegos en una liga en línea anónima, Cicero se ubicó en el 10 por ciento superior de los participantes que jugaron más de un juego. Hubo contratiempos: a veces escupía mensajes contradictorios sobre los planes de invasión, confundiendo a los participantes. Aún así, solo un oponente sospechó que Cicero podría ser un bot (todo se reveló después).

El profesor David Leslie, especialista en ética de la IA en la Universidad Queen Mary y en el Instituto Alan Turing, ambos en Londres, describe a Cicero como un «Frankenstein muy hábil técnicamente»: una combinación impresionante de múltiples tecnologías, pero también una ventana hacia un futuro inquietante. Un informe de un comité parlamentario del Reino Unido de 2018 advirtió que la IA nunca debería tener «el poder autónomo de dañar, destruir o engañar a los seres humanos».

Su primera preocupación es el engaño antropomórfico: cuando una persona cree erróneamente, como hizo un oponente, que hay otro ser humano detrás de la pantalla. Eso puede allanar el camino para que las personas sean manipuladas por la tecnología.

Su segunda preocupación es la IA dotada de astucia pero carente de sentido de los conceptos morales fundamentales, como la honestidad, el deber, los derechos y las obligaciones. “Se está dotando a un sistema de la capacidad de engañar, pero no está operando en la vida moral de nuestra comunidad”, dice Leslie. “Para decir lo obvio, un sistema de IA es, en el nivel básico, amoral”. La inteligencia similar a la de Cicerón, piensa, se aplica mejor a problemas científicos difíciles como el análisis del clima, no a cuestiones geopolíticas delicadas.

Curiosamente, los creadores de Cicero afirman que sus mensajes, filtrados por lenguaje tóxico, terminaron siendo «en gran parte honestos y útiles» para otros jugadores, especulando que el éxito puede haber surgido al proponer y explicar movimientos mutuamente beneficiosos. Tal vez, en lugar de maravillarnos de lo bien que Cicerón juega la diplomacia contra los humanos, deberíamos desesperarnos por lo mal que los humanos juegan la diplomacia en la vida real.

Read More: Una máquina maquiavélica plantea cuestiones éticas sobre la IA