Twitter está investigando el sesgo racial en su algoritmo de recorte de imágenes, después de que los usuarios descubrieron que prioriza los rostros de las personas blancas sobre las de las personas negras.
Los usuarios notaron el problema por primera vez cuando el director de la universidad con sede en Vancouver, Colin Madland publicado en la plataforma de redes sociales sobre el problema de su colega negro con el algoritmo de detección de rostros de Zoom, que le quitaba la cabeza cada vez que usaba un fondo virtual.
Al tuitear imágenes de la interacción de Zoom, Madden encontró la aplicación móvil de Twitter constantemente por defecto en su cara en lugar de la de su colega en la vista previa. Esto ocurrió incluso cuando cambió el orden de las imágenes.
El descubrimiento provocó una serie de experimentos por parte de otros usuarios de Twitter, que terminaron con resultados similares.
Por ejemplo, cuando el rostro del líder blanco de la mayoría del senado de Estados Unidos, Mitch McConnell, se colocó en una imagen con el ex presidente negro de Estados Unidos, Barack Obama, fue el rostro del primero que se priorizó para la vista previa.
Sin embargo, según Twitter, el algoritmo ya había sido probado en busca de prejuicios raciales y de género antes de su lanzamiento y no encontró evidencia de ninguno de los dos. «Pero está claro que tenemos más análisis por hacer», dijo. «Continuaremos compartiendo lo que aprendemos, qué acciones tomamos, y lo abriremos para que otros puedan revisar y replicar».
Prueba pública
El director de tecnología de Twitter, Parag Agrawal, agregó: “Hicimos un análisis de nuestro modelo cuando lo enviamos, pero necesita una mejora continua. Me encanta esta prueba pública, abierta y rigurosa, y estoy ansioso por aprender de esto «.
En un hilo eliminado desde entonces, el usuario de Twitter y el desarrollador alemán Bianca Kastl postuló que el algoritmo podría estar recortando las imágenes en función de la «prominencia», que se describe en un Publicación de blog de enero de 2018 de Twitter como una región de una imagen “que una persona probablemente la mire cuando vea libremente la imagen”.
“Los académicos han estudiado y medido la relevancia mediante el uso de rastreadores oculares, que registran los píxeles que las personas fijaron con sus ojos. En general, la gente tiende a prestar más atención a las caras, el texto, los animales, pero también a otros objetos y regiones de alto contraste ”, dijo Twitter en la publicación.
“Estos datos se pueden usar para entrenar redes neuronales y otros algoritmos para predecir lo que la gente podría querer mirar. La idea básica es utilizar estas predicciones para centrar un cultivo en la región más interesante «.
El director de diseño de Twitter, Dantley Davis, dijo “El contraste puede ser problemático” para el algoritmo en ciertas situaciones, y que la empresa está reevaluando su modelo en función de los comentarios que ha recibido de los usuarios.
“Estoy tan irritado por esto como todos los demás. Sin embargo, estoy en condiciones de arreglarlo y lo haré ”, tuiteó, agregando por separado: “Es 100% culpa nuestra. Nadie debería decir lo contrario. Ahora el siguiente paso es arreglarlo «.
Según Gemma Galdon Clavell, directora de la consultora de auditoría algorítmica Eticas, con sede en Barcelona, el caso del algoritmo de recorte de imágenes de Twitter identifica una serie de problemas importantes que su firma considera críticos cuando audita algoritmos.
El primero de ellos es que simplemente probar el sesgo por sí solo no es suficiente; los resultados deben publicarse como parte de una auditoría, ya que “solo entonces los usuarios pueden evaluar si los esfuerzos realizados son suficientes para garantizar que los algoritmos mitiguen el sesgo”.
Añadió que los algoritmos también se prueban a menudo en entornos de laboratorio, cuyos resultados suponen los desarrolladores se replicarán en contextos del mundo real. Como tal, le dijo a Computer Weekly que «la auditoría de sesgos debería ser un ejercicio continuo».
“Cuando se usa el aprendizaje automático, ‘probar’ al principio tampoco es suficiente. A medida que el algoritmo aprende, los sesgos de la dinámica de la vida real y las deficiencias tecnológicas de los modelos algorítmicos terminan siendo replicados por el sistema ”, dijo. “Es particularmente preocupante que los representantes de Twitter hayan tenido problemas para explicar cómo el algoritmo aprende el sesgo, y esto apunta a un problema fundamental: ¿cómo proteger a las personas en sistemas que ni siquiera sus creadores entienden o pueden responsabilizar?
“Si bien los esfuerzos realizados por Twitter para al menos identificar sesgos son encomiables, cada vez es más claro que la automatización genera serias preocupaciones que merecen mucha más atención, recursos y metodologías específicas que arrojan luz sobre la caja negra de los procesos algorítmicos”.
Para Charles Radclyffe, especialista en ética y gobernanza de IA en Fidelity International, la pregunta pertinente es por qué estos errores siempre parecen perjudicar a las personas de color.
“La industria de la tecnología es estructuralmente racista y necesitamos cambiarla urgentemente”, dijo. “Los conjuntos de datos están sesgados, los equipos de desarrolladores son en su mayoría poco diversos y las partes interesadas, como los clientes, tienden a no tener dónde plantear sus problemas y ser escuchados. Encontrar soluciones técnicas para estos problemas no resolverá el problema. La ética de la IA debe verse como un problema de gobierno corporativo, y debe medirse y gestionarse de la misma manera «.