Auditoría por discriminación algorítmica

Los sistemas de inteligencia artificial (IA) y la toma de decisiones algorítmicas son pilares de cada sector de la economía global.

Desde recomendaciones de motores de búsqueda y publicidad hasta calificación crediticia y vigilancia predictiva, los algoritmos se pueden implementar en una amplia gama de casos de uso, y los defensores suelen presentarlos como un medio desapasionado y más justo para tomar decisiones, sin la influencia de los prejuicios humanos.

Sin embargo, según Cathy O’Neil, autor de Armas de destrucción matemática: cómo los grandes datos aumentan la desigualdad y amenazan la democracia, en la práctica, muchos de los modelos matemáticos que impulsan esta economía de big data “distorsionan la educación superior, estimulan el encarcelamiento masivo, golpean a los pobres en casi todas las coyunturas y socavan la democracia”, a la vez que “prometen eficiencia y equidad”.

“Los procesos de Big Data codifican el pasado. No inventan el futuro. Tenemos que incorporar explícitamente mejores valores en nuestros algoritmos, creando modelos de big data que sigan nuestro liderazgo ético ”, escribió. “A veces eso significa poner la justicia por delante de las ganancias”.

Aunque la conciencia de los algoritmos y su potencial de discriminación han aumentado significativamente en los últimos cinco años, Gemma Galdon Clavell, directora de Barcelona. consultoría de auditoría algorítmica Eticas, le dice a Computer Weekly que demasiados en el sector tecnológico todavía ven erróneamente la tecnología como neutral social y políticamente, creando problemas importantes en la forma en que se desarrollan y despliegan los algoritmos.

Además de esto, Galdon Clavell dice que la mayoría de las organizaciones que implementan algoritmos tienen muy poca conciencia o comprensión de cómo abordar los desafíos del sesgo, incluso si lo reconocen como un problema en primer lugar.

El estado de la auditoría algorítmica.

Muchos de los algoritmos en los que trabaja Eticas están “tan mal desarrollados que, a menudo, nuestro trabajo de auditoría no es solo auditar sino reevaluar realmente dónde se está haciendo todo”, dice Galdon Clavell.

Si bien el análisis y el procesamiento de datos como parte de una auditoría de algoritmos no es un proceso particularmente largo, las auditorías de Eticas “de seis a nueve meses” debido a la cantidad de trabajo necesario para comprender cómo los desarrolladores de algoritmos toman decisiones y de dónde provienen todos los datos, ella agrega.

“Básicamente, todos estos algoritmos tienen un back-end realmente desordenado, como si alguien ni siquiera hubiera etiquetado los datos o indexado todo lo que ha estado utilizando. Hay tantas decisiones ad-hoc que encontramos en algoritmos con un impacto social: es tan irresponsable, es como alguien que construye un medicamento y se olvida de enumerar los ingredientes que usaron “, dice, y agrega que el 99% de los algoritmos que encuentra están en este estado

Sin embargo, hay una distancia entre “estar consciente y saber qué hacer con esa conciencia”, dice ella, antes de señalar que si bien el mundo de la ética tecnológica ha sido bueno para identificar problemas, no ha sido muy constructivo al ofrecer soluciones o alternativas.

“Lo que hacemos es trabajar con el [clients] equipo, pregúnteles: “¿Cuál es el problema que quieren resolver, qué datos han estado reuniendo y qué datos querían reunir que no pudieron reunir?”, así que realmente tratando de entender qué es lo que quieren resolver y qué datos han estado utilizando “, dice ella.

“Entonces, lo que hacemos es observar cómo ha funcionado el algoritmo, los resultados de esos algoritmos y cómo ha estado calculando las cosas. A veces, simplemente volvemos a hacer el trabajo del algoritmo para asegurarnos de que todos los datos que capturamos sean precisos y luego descubrimos si hay algún grupo en particular que esté siendo afectado de una manera que no esté estadísticamente justificada ”.

A partir de aquí, Eticas también traerá “expertos específicos para cualquier tema sobre el que se trate el algoritmo”, de modo que la conciencia de la dinámica del mundo real de cualquier problema se pueda traducir mejor al código, a su vez mitigando las posibilidades de ese daño siendo reproducido por el algoritmo mismo.

¿Cómo puede entrar el sesgo en la toma de decisiones algorítmicas?

Según Galdon Clavell, el sesgo puede manifestarse en múltiples puntos durante el desarrollo y la operación de algoritmos.

“Nos damos cuenta de que hay problemas durante todo el proceso de pensar que los datos pueden ayudarlo a abordar un problema social. Entonces, si su algoritmo es para, digamos, organizar cuántos camiones deben ir a algún lugar para entregar algo, entonces tal vez no haya problemas sociales allí.

“Pero para la mayoría de los algoritmos con los que trabajamos, vemos cómo esos algoritmos están tomando decisiones que tienen un impacto en el mundo real”, dice ella, agregando que el sesgo ya se introdujo en el punto de decidir qué datos incluso usar en el modelo .

“Los algoritmos son solo funciones matemáticas, por lo que lo que hacen es codificar realidades sociales complejas para ver si podemos hacer buenas suposiciones sobre lo que puede suceder en el futuro.

“Todos los datos críticos que usamos para entrenar esas funciones matemáticas provienen de un mundo imperfecto, y eso es algo que los ingenieros a menudo no saben y es comprensible: la mayoría de los ingenieros no han recibido capacitación en temas sociales, por lo que se les pide desarrollar algoritmos para abordar problemas sociales que no entienden.

“Hemos creado este mundo tecnológico en el que los ingenieros están tomando todas las decisiones, tomando todas las decisiones, sin tener el conocimiento de lo que podría salir mal”.

La mayoría de los ingenieros no han recibido capacitación en temas sociales, por lo que se les pide que desarrollen algoritmos para abordar problemas sociales que no entienden

Gemma Galdon Clavell, Eticas

Clavell continúa diciendo cuántos algoritmos se basan en modelos de IA de aprendizaje automático y requieren una evaluación periódica para garantizar que el algoritmo no haya introducido sesgos nuevos e inesperados en su propia toma de decisiones durante el autoaprendizaje.

“Curiosamente, también estamos viendo problemas de discriminación en el momento de transmitir la decisión algorítmica”, dice Galdon Clavell, explicando que los operadores humanos a menudo no son capaces de interrogar, o incluso comprender, la elección de la máquina, exponiendo el proceso a sus propios prejuicios también.

Como un ejemplo real de esto, en enero de 2020, la comisionada de la Policía Metropolitana, Cressida Dick, defendió el despliegue operativo de la fuerza de la tecnología de reconocimiento facial en vivo (LFR), una herramienta con algoritmos que utiliza imágenes digitales para identificar los rostros de las personas, en parte sobre la base que los oficiales humanos siempre tomarán la decisión final.

sin embargo, el primera y única revisión independiente de los senderos LFR de Met desde julio de 2019 se descubrió que existía una “presunción de intervención” discernible, lo que significa que era una práctica estándar para los oficiales involucrar a un individuo si el algoritmo así lo ordenaba.

“A través de la auditoría algorítmica, lo que estamos tratando de hacer es abordar todo el proceso, observando no solo cómo el algoritmo mismo amplifica los problemas, sino cómo ha traducido un problema social complejo en código, en datos, porque los datos que usted decide el uso dice mucho sobre lo que estás tratando de hacer ”, dice Galdon Clavell.

Barreras a la auditoría

Mientras que las compañías regularmente envían y publican los resultados de auditorías financieras independientes, Galdon Clavell señala que no existe un equivalente generalizado para los algoritmos.

“Por supuesto, muchas compañías están diciendo: ‘No hay forma de que publique el código de mi algoritmo porque gasté millones de dólares construyendo esto’, así que pensamos por qué no crear un sistema de auditoría mediante el cual usted no necesita liberar su código, solo necesita que una organización externa (que sea confiable y tenga sus propios mecanismos de transparencia) entre, vea lo que está haciendo y publique un informe que refleje cómo funcionan los algoritmos ,” ella dice.

“Al igual que una auditoría financiera, simplemente entras y certificas que las cosas se están haciendo correctamente, y si no es así, les dices: ‘Esto es lo que debes cambiar antes de que pueda decir en mi informe que tú’ estás haciendo las cosas bien “.

Para Galdon Clavell, aunque señala que no es difícil encontrar empresas que no se preocupen por estos problemas, en su experiencia la mayoría entiende que tienen un problema, pero no necesariamente saben cómo abordar la solución.

“La principal barrera en este momento es que las personas no saben que existe una auditoría algorítmica”, dice ella. “En nuestra experiencia, cada vez que hablamos con personas de la industria sobre lo que hacemos, nos dicen, ‘Oh, wow, ¿eso es algo? ¿Eso es algo que puedo hacer? ‘, Y luego sacamos nuestros contratos de esto ”.

Galdon Clavell dice que las auditorías algorítmicas no son de conocimiento común debido al enfoque del mundo de la ética tecnológica en los principios de alto nivel, particularmente en los últimos cinco años, en la práctica.

“Estoy cansado de los principios: tenemos todos los principios del mundo, tenemos tantos documentos que dicen las cosas que importan, tenemos un metanálisis de los principios de ética en IA y tecnología, y creo que es hora de para ir más allá de eso y decir, ‘OK, entonces, ¿cómo nos aseguramos de que los algoritmos no discriminen?’ y no solo decir ‘no deberían discriminar’ ”, dice ella.

Repensar nuestro enfoque tecnológico

Si bien Galdon Clavell es inflexible, se necesita hacer más para crear conciencia y educar a las personas sobre cómo los algoritmos pueden discriminar, dice que esto debe ir acompañado de un cambio en la forma en que abordamos la tecnología en sí.

“Necesitamos cambiar la forma en que hacemos tecnología. Creo que todo el debate tecnológico ha estado tan orientado por la idea de Silicon Valley de ‘mover cosas rápidas’ que cuando se rompen nuestros derechos fundamentales, en realidad no importa ”, dice ella.

“Necesitamos comenzar a ver la tecnología como algo que nos ayuda a resolver problemas, en este momento la tecnología es como un martillo que siempre busca clavos: ‘Busquemos problemas que puedan resolverse con blockchain, busquemos problemas que podamos resolver con IA’ – en realidad, no, ¿qué problema tienes? Y echemos un vistazo a las tecnologías que podrían ayudarlo a resolver ese problema. Pero esa es una forma completamente diferente de pensar acerca de la tecnología que lo que hemos hecho en los últimos 20 años “.

Cuando la tecnología realmente puede ayudarnos a poner fin a algunas dinámicas realmente negativas, muchas veces es incómodo

Gemma Galdon Clavell, Eticas

Como alternativa, Galdon Clavell destaca cómo los algoritmos impulsados ​​por IA se han utilizado como una herramienta de ‘diagnóstico de sesgo’, y muestra cómo la misma tecnología puede ser rediseñada para reforzar los resultados sociales positivos si la motivación está ahí.

“Hubo una compañía de inteligencia artificial en Francia que utilizó los datos abiertos del gobierno francés sobre sentencias judiciales, y descubrieron que algunos jueces tenían una clara tendencia a dar sentencias más severas a las personas de origen migrante, por lo que las personas recibían diferentes sentencias por el mismo delito debido a la parcialidad de los jueces “, dice ella.

“Este es un ejemplo en el que la IA puede ayudarnos a identificar dónde el sesgo humano ha fallado a grupos específicos de personas en el pasado, por lo que es una gran herramienta de diagnóstico cuando se usa de la manera correcta”.

Sin embargo, señala que la respuesta del gobierno francés a esto fue no abordar el problema del prejuicio judicial, sino prohibir el uso de IA para analizar las prácticas profesionales de magistrados y otros miembros del poder judicial.

“Cuando la tecnología realmente puede ayudarnos a poner fin a algunas dinámicas realmente negativas, muchas veces es incómodo”, dice ella.

Sin embargo, Galdon Clavell agrega que muchas compañías han comenzado a ver la confianza del consumidor como una ventaja competitiva, y lentamente están comenzando a cambiar sus formas cuando se trata de desarrollar algoritmos con impactos sociales.

“Ciertamente descubrí que algunos de los clientes que tenemos son personas que realmente se preocupan por estas cosas, pero otros se preocupan por la confianza de sus clientes y se dan cuenta de que hacer las cosas de manera diferente, hacer las cosas mejor y ser más transparentes también es un manera de que obtengan una ventaja competitiva en el espacio “, dice ella.

“También hay un movimiento lento en el mundo corporativo que significa que se dan cuenta de que necesitan dejar de ver a los usuarios como este recurso barato de datos, y los ven como clientes que quieren y merecen respeto, y quieren productos comerciales que no aprovechan sus datos sin su conocimiento o capacidad de consentir “.