Durante años, activistas y académicos han expresado su preocupación de que el software de análisis facial que afirma ser capaz de identificar la edad, el género y el estado emocional de una persona puede ser sesgado, poco confiable o invasivo, y no debería venderse.
Reconociendo algunas de esas críticas, Microsoft dijo el martes que planeaba eliminar esas funciones de su servicio de inteligencia artificial para detectar, analizar y reconocer rostros. Dejarán de estar disponibles para los nuevos usuarios esta semana y se eliminarán gradualmente para los usuarios existentes dentro del año.
Los cambios son parte de un impulso de Microsoft por controles más estrictos de sus productos de inteligencia artificial. Después de una revisión de dos años, un equipo de Microsoft desarrolló un «Estándar de inteligencia artificial responsable», un documento de 27 páginas que establece los requisitos para los sistemas de inteligencia artificial para garantizar que no tengan un impacto dañino en la sociedad.
Los requisitos incluyen garantizar que los sistemas brinden «soluciones válidas para los problemas que están diseñados para resolver» y «una calidad de servicio similar para grupos demográficos identificados, incluidos los grupos marginados».
Antes de su lanzamiento, las tecnologías que se usarían para tomar decisiones importantes sobre el acceso de una persona al empleo, la educación, la atención médica, los servicios financieros o una oportunidad de vida están sujetas a una revisión por parte de un equipo dirigido por Natasha Crampton, directora responsable de inteligencia artificial de Microsoft. .
Hubo una gran preocupación en Microsoft en torno a la herramienta de reconocimiento de emociones, que etiquetaba la expresión de alguien como ira, desprecio, disgusto, miedo, felicidad, neutralidad, tristeza o sorpresa.
“Hay una gran cantidad de variaciones culturales, geográficas e individuales en la forma en que nos expresamos”, dijo la Sra. Crampton. Eso llevó a preocupaciones de confiabilidad, junto con preguntas más importantes sobre si «la expresión facial es un indicador confiable de su estado emocional interno», dijo.
Leer más sobre Inteligencia Artificial
Las herramientas de análisis de edad y género que se están eliminando, junto con otras herramientas para detectar atributos faciales como el cabello y la sonrisa, podrían ser útiles para interpretar imágenes visuales para personas ciegas o con baja visión, por ejemplo, pero la compañía decidió que era problemático hacerlas. las herramientas de creación de perfiles generalmente disponibles para el público, dijo la Sra. Crampton.
En particular, agregó, el llamado clasificador de género del sistema era binario, “y eso no es consistente con nuestros valores”.
Microsoft también pondrá nuevos controles en su función de reconocimiento facial, que se puede usar para realizar controles de identidad o buscar a una persona en particular. Uber, por ejemplo, usa el software en su aplicación para verificar que la cara de un conductor coincida con la identificación registrada para la cuenta de ese conductor. Los desarrolladores de software que deseen utilizar la herramienta de reconocimiento facial de Microsoft deberán solicitar acceso y explicar cómo planean implementarla.
Los usuarios también deberán presentar una solicitud y explicar cómo utilizarán otros sistemas de IA potencialmente abusivos, como Custom Neural Voice. El servicio puede generar una impresión de voz humana, basada en una muestra del habla de alguien, para que los autores, por ejemplo, puedan crear versiones sintéticas de su voz para leer sus audiolibros en idiomas que no hablan.
Debido al posible mal uso de la herramienta, para crear la impresión de que las personas han dicho cosas que no han dicho, los oradores deben seguir una serie de pasos para confirmar que el uso de su voz está autorizado y las grabaciones incluyen marcas de agua detectables por Microsoft. .
“Estamos tomando medidas concretas para cumplir con nuestros principios de IA”, dijo la Sra. Crampton, quien ha trabajado como abogada en Microsoft durante 11 años y se unió al grupo de IA ética en 2018. “Va a ser un gran viaje. ”
Microsoft, al igual que otras empresas de tecnología, ha tenido tropiezos con sus productos de inteligencia artificial. En 2016, lanzó un chatbot en Twitter, llamado Tay, que fue diseñado para aprender «comprensión conversacional» de los usuarios con los que interactuaba. El bot rápidamente comenzó a emitir tuits racistas y ofensivos, y Microsoft tuvo que eliminarlo.
En 2020, los investigadores descubrieron que las herramientas de voz a texto desarrolladas por Microsoft, Apple, Google, IBM y Amazon funcionaron peor para los negros. El sistema de Microsoft fue el mejor del grupo, pero identificó erróneamente el 15 por ciento de las palabras de los blancos, en comparación con el 27 por ciento de los negros.
La empresa había recopilado diversos datos de voz para entrenar su sistema de inteligencia artificial, pero no había entendido cuán diverso podía ser el lenguaje. Así que contrató a un experto en sociolingüística de la Universidad de Washington para explicar las variedades de lenguaje que Microsoft necesitaba conocer. Fue más allá de la demografía y la variedad regional en cómo habla la gente en entornos formales e informales.
“Pensar en la raza como un factor determinante de cómo habla alguien es en realidad un poco engañoso”, dijo la Sra. Crampton. «Lo que hemos aprendido en consulta con el experto es que, en realidad, una gran variedad de factores afectan la variedad lingüística».
La Sra. Crampton dijo que el viaje para corregir esa disparidad de voz a texto había ayudado a informar la guía establecida en los nuevos estándares de la compañía.
“Este es un período crítico de establecimiento de normas para la IA”, dijo, señalando las regulaciones propuestas por Europa que establecen reglas y límites sobre el uso de la inteligencia artificial. “Esperamos poder utilizar nuestro estándar para tratar de contribuir a la brillante y necesaria discusión que debe tenerse sobre los estándares a los que deben sujetarse las empresas de tecnología”.
Un debate vibrante sobre los daños potenciales de la IA ha estado en marcha durante años en la comunidad tecnológica, alimentado por errores que tienen consecuencias reales en la vida de las personas, como los algoritmos que determinan si las personas obtienen o no beneficios sociales. Las autoridades fiscales holandesas quitaron por error los beneficios de cuidado infantil a las familias necesitadas cuando un algoritmo defectuoso penalizó a las personas con doble nacionalidad.
El software automatizado para reconocer y analizar rostros ha sido particularmente controvertido. El año pasado, Facebook cerró su sistema de una década para identificar personas en fotos. El vicepresidente de inteligencia artificial de la compañía citó las «muchas preocupaciones sobre el lugar de la tecnología de reconocimiento facial en la sociedad».
Varios hombres negros han sido arrestados injustamente después de coincidencias de reconocimiento facial defectuosas. Y en 2020, al mismo tiempo que las protestas de Black Lives Matter tras el asesinato policial de George Floyd en Minneapolis, Amazon y Microsoft emitieron moratorias sobre el uso de sus productos de reconocimiento facial por parte de la policía en los Estados Unidos, diciendo leyes más claras sobre su se necesitaban usos.
Desde entonces, Washington y Massachusetts han aprobado regulaciones que exigen, entre otras cosas, la supervisión judicial del uso policial de herramientas de reconocimiento facial.
La Sra. Crampton dijo que Microsoft había considerado si comenzar a poner su software a disposición de la policía en los estados con leyes en los libros, pero decidió, por ahora, no hacerlo. Ella dijo que eso podría cambiar a medida que cambia el panorama legal.
Arvind Narayanan, profesor de informática de Princeton y destacado experto en IA, dijo que las empresas podrían estar retirándose de las tecnologías que analizan el rostro porque son «más viscerales, a diferencia de otros tipos de IA que pueden ser dudosos pero que no conocemos». sentir necesariamente en nuestros huesos.”
Las empresas también pueden darse cuenta de que, al menos por el momento, algunos de estos sistemas no son comercialmente valiosos, dijo. Microsoft no pudo decir cuántos usuarios tenía para las funciones de análisis facial de las que se está deshaciendo. El Sr. Narayanan predijo que sería menos probable que las empresas abandonaran otras tecnologías invasivas, como la publicidad dirigida, que perfila a las personas para elegir los mejores anuncios para mostrarles, porque eran una «fuente de ingresos».