Algoritmos Sesgados

Cuando empecé a escribir esta entrada a finales del 2019 estaba sonando mucho el caso de la "Apple Card" (una tarjeta de crédito desarrollada por Goldman Sachs para Apple) y de que supuestamente era un producto sexista (spoiler: sí es), y como desde hace rato tenía ganas de escribir algo sobre algoritmos sesgados dije AHORA ES CUANDO.
* No voy a hablar sobre el caso de Apple sino de algoritmos sesgados en general, pero si les interesa saber la noticia se las dejo al final en los materiales referenciados. 

Con los recientes avances tecnológicos y lo que vemos en los medios, mucha/os creemos que la automatización de ciertos procesos o el relegarle la toma de decisiones sobre ciertas cuestiones a la ~inteligencia artificial~ es 100% confiable y seguro. Tenemos la idea de que los programas de computadora son imparciales (porque ESDEQUE LOS ALGORITMOS SE ALIMENTAN DE DATOS ESTADÍSTICOS, como si las estadísticas no pudieran ser también sesgadas) y que por eso hay que creerles sieeeemmmmpre. La realidad es que no es así. Se ha visto ya en varios productos --desde lavamanos hasta relojes-- que la manera en que éstos son diseñados y programados puede resultar en la exclusión de personas que pertenecen a grupos minoritarios. Hay casos en los que los sensores con incapaces de reconocer pieles oscuras, y cámaras con tecnología de reconocimiento facial que fallan al momento de discernir entre ojos rasgados y ojos cerrados, por mencionar algunos ejemplos. Creo que no es necesario explicar por qué ésto es problemático, pero para no dejar: el producto se vuelve inservible para quien forma parte de dicha población, haciendo su uso limitado a un sector bastante reducido (casi siempre a personas blancas, en su mayoría hombres), perpetuando así un sinfín de desigualdades.

En el caso específico de algoritmos "sexistas", y referenciando una entrada que publiqué hace varios meses sobre mi experiencia como estudiante de ciencias computacionales, algo que mencionaba es que el bajo número de mujeres en áreas de STEM (ciencia, tecnología, ingeniería, y matemáticas, por sus siglas en inglés) da fruto a productos que no toman en cuenta nuestras necesidades específicas. Por eso, aunque tal vez el término de "sexista" esté mal empleado o les suene raro (porque una computadora en sí no "piensa" ni "decide", no puede ser sexista), la realidad es que los resultados producidos son así, sexistas. Al ser las aplicaciones desarrolladas por personas, éstas pueden, de manera consciente o inconsciente, transferir sus sesgos y prejuicios a los algoritmos que diseñan.
 Retomando el tema de la diversidad, es aparente la importancia de tener un equipo de desarrollo de software diverso, conformado por personas con distintas experiencias y puntos de vista. Ahora, en esta entrada me enfoco mucho en quiénes crean los programas porque es importante reconocer la importancia de la inclusión, una cuestión que a mi parecer, es menospreciada por muchas personas. Sin embargo, hay otros factores que impactan el diseño de una tecnología.

Se han propuesto métodos de taxonomía para las formas en las que se hacen presentes sesgos en algoritmos; por ejemplo, Friedman y Nissenbaum (1996) mencionan que hay 1) sesgos preexistentes (es decir, sesgos que tiene la persona que diseña el algoritmo), 2) sesgos técnicos (que se dan al momento de implementar el algoritmo), y 3) sesgos emergentes (que aparecen conforme pasa el tiempo por cambios en el uso que se le da al producto). Otro modelo que conozco es el de Danks y London (más reciente, del 2017) donde proponen 5 formas en las que se puede joder la objetividad del algoritmo: 1) cuando la información con la que se "entrena" el algoritmo es sesgada, 2) por el enfoque algorítmico (o sea, el estándar o criterios que se utilizan para medir la objetividad del algoritmo), 3) por la interpretación que le da un usuario a los resultados que produce el algoritmo, 4) la transferencia de contexto (cuando el algoritmo es usado en una tarea para la que no fue diseñado), y 5) procesamiento algorítmico, análogo al sesgo técnico en el modelo de Friedman y Nissenbaum.
En varias de estas categorías los y las programadoras jugamos un rol importante, y por eso debemos ser autocríticas con nuestras conductas e identificar nuestros prejuicios para así poder crear  aplicaciones tan objetivas como nos sea posible (porque nunca nos podremos deshacer completamente de nuestros propios sesgos).

Para finalizar, no creo que haya una manera "correcta" de programar, y definitivamente no existe ni existirá una fórmula universal que nos asegure que nuestro producto será 100% inclusivo e imparcial, por el hecho de que cada persona es sumamente distinta y la sociedad está en constante cambio, y porque todos y todas tenemos prejuicios, sean conscientes o no (aunque sí hay medidas que se pueden tomar para hacer algoritmos más imparciales, por ejemplo el data set de IBM).
Lo que busco con este texto es simplemente poner el tema sobre la mesa y que sepamos que los programas de computadora pueden perpetuar conductas de marginación; que la tecnología no es imparcial ergo no debemos fiarnos de ella por completo, y NO debemos hacer oídos sordos a las experiencias de quienes han sido discriminado/as. Recordemos que al desarrollarse los algoritmos dentro de un contexto social específico, analizar los sesgos existentes es también analizar problemas sociales sistémicos.


**************************************************************************************
Aquí les dejo mis fuentes y otros textos que hablan sobre sesgos en algoritmos de software:

ESP
Acá el árticulo que habla sobre el caso de la tarjeta de Apple:
https://animal.mx/bbc/apple-card-por-que-dicen-que-la-tarjeta-de-credito-del-gigante-tecnologico-es-sexista/

Este artículo habla sobre un algoritmo desarrollado por Amazon que se utilizaba durante el proceso de selección de candidatos a entrevista de trabajo:
https://www.bbc.com/mundo/noticias-45823470?xtor=AL-73-%5Bpartner%5D-%5Bterra.com.br%5D-%5Blink%5D-%5Bmundo%5D-%5Bbizdev%5D-%5Bisapi%5D


ENG
Los artículos sobre categorías de algoritmos sesgados:
[1] Friedman y Nissenbaum (1996) https://dl.acm.org/doi/pdf/10.1145/230538.230561
[2] Danks y London (2017) https://www.researchgate.net/profile/Alex_London/publication/318830422_Algorithmic_Bias_in_Autonomous_Systems/links/5a4bb017aca2729b7c893d1b/Algorithmic-Bias-in-Autonomous-Systems.pdf

Estos tres artículos siempre los recomiendo, hablan de cómo la falta de diversidad en los equipos de trabajo que desarollan software resulta en productos excluyentes:
[1] https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html
[2]  https://muse.jhu.edu/article/645268/pdf?casa_token=sc4MWEGAekQAAAAA:h7WsWEA1wIbW5S0OZOYlNGVlTunatzVGzZK_Dd4dqA_JpGl25v0sTa4KH2uc1E_u5V1gMV4kyg
[3] https://dl.acm.org/doi/pdf/10.1145/2851581.2892578

Acá la investigación original en la que se basa el artículo de BBC sobre el algoritmo de Amazon: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

Después de compartir esta publicación en fb un compa me pasó estos dos artículos (gracias Roberto) sobre el data set con imágenes de rostros diversos que hizo IBM en un esfuerzo por mitigar el problema de algoritmos sesgados:
[1] https://www.ibm.com/blogs/research/2019/01/diversity-in-faces/?fbclid=IwAR3zqBtvBkOk6qeg3_oLyyixPFwbDLNBw9NK2-q-bvRxSIgZugf5Xk_v2Fk
[2] https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/?fbclid=IwAR2DKIbqPHXTsbR_JUq0L6-IFaW5iIXNMNkL3Ic5Vk7DEbJqEeARQcc44VM