Medición, detección y reducción de sesgos en algoritmos de IA

Medición, Detección y Reducción de Sesgos en Algoritmos de Inteligencia Artificial

– El modo en que las decisiones propiciadas por los algoritmos afectan a las personas es un aspecto fundamental que se ha de ser considerado por las organizaciones y organismos que implementan este tipo de sistemas

  • Por: Carlos Mario Braga Ortuño. Data Management & Data Technologies Specialist, sector Banca. Coordinador Grupo de trabajo Data Science & Machine Learning

El desarrollo de la aplicación práctica de algoritmos de inteligencia artificial para facilitar la toma de decisiones es una realidad, y por tanto el modo en que las decisiones propiciadas por estos algoritmos afectan a las personas es un aspecto fundamental que se ha de ser considerado por las organizaciones y organismos que implementan este tipo de sistemas. Si bien existen algoritmos que no tienen un impacto importante en la vida de las personas a las que se les aplica como por ejemplo un sistema de recomendación de música, películas o series de televisión (aunque podrían tenerlo para productoras y/o artistas); existen otros algoritmos desarrollados para tomar decisiones tales como conceder o no a una persona un préstamo, un seguro, un trabajo o un tratamiento médico, por citar algunos ejemplos.


Pese a que la regulación respecto a estos usos de la inteligencia artificial, al menos en Europa ya está en camino, no existe una regulación homogénea a nivel mundial pese a que en muchas ocasiones los productos y servicios que consumimos vía internet son globales no teniendo necesariamente que estar su proveedor localizado en nuestra misma zona geográfica. Es importante, por tanto, conocer las tanto las discriminaciones y sesgos que pueden generar los algoritmos, como el modo de reducirlos, para poder optar al uso y consumo de estos potentes sistemas de decisión sin generar desigualdad social.

Si acudimos a la definición de Discriminación que hace la RAE, vemos que se refiere al trato desigual que se le da a una persona, o colectividad por motivos raciales, religiosos, políticos, de sexo, de edad, de condición física o mental, etc.; y el saber evitarla o reducirla en los algoritmos de inteligencia artificial es un reto que como sociedad debemos afrontar para no generar discriminación grupal por la aplicación de las evoluciones tecnológicas en este campo; de modo que podamos ser consecuentes con el marco normativo en de la Unión Europea (Artículo 21 de la Carta de los Derechos Fundamentales de la Unión Europea, Artículo 14 del Convenio Europeo de Derechos Humanos, y Artículos 18-25 del Tratado de Funcionamiento de la Unión Europea).

Existen algoritmos desarrollados para tomar decisiones tales como conceder o no a una persona un préstamo, un seguro, un trabajo o un tratamiento médico


La mayor fuente de generación de discriminación está en los algoritmos de clasificación, o en los algoritmos de regresión si luego se usa el valor predicho para tomar una decisión de otorgar o no algún producto o servicio a una persona (en base por ejemplo a una función escalón); por tanto es indiferente que hablemos de Machine Learning o de Deep Learning, pues independientemente de la técnica utilizada si hay toma de decisión basada en la salida del algoritmo hay riesgo de ejercer discriminación con la decisión.

Son varias las fuentes de generación de discriminación en estos algoritmos, pues al estar basada la predicción en datos previamente existentes, la fuente de la no neutralidad o de imparcialidad de los algoritmos puede proceder tanto de esos datos de entrada, como de la propia lógica que aplica el algoritmo, como de la retroalimentación del algoritmo con datos que ha generado el propio algoritmo y que por no estar monitorizadas sus métricas de neutralidad o discriminación, puedan tener comportamientos discriminatorios ante situaciones sociales que evolucionan respecto a las que había en el momento en que el algoritmo se construyó.

Como hemos indicado anteriormente los problemas de clasificación suponen la mayor fuente de riesgo de discriminación algorítmica a través de la implementación de sistemas de decisión basados en algoritmos de inteligencia artificial, y es un hecho que la medida clásica del performance de un algoritmo de clasificación está basada en métricas tales como Accuracy, Precisión, Recall, Specifity o  F1 Score, estando estos conceptos fundamentados en probabilidad en la salida del test de tener una salida predicha igual o distinta de la que conocíamos de esos datos de test, o dicho de otra manera de cálculo de la probabilidad de ser predicho con un determinado valor condicionado a que la etiqueta de clase de la variable a predecir tuviese otro valor concreto, sin consideración alguna respecto al valor que toman otras variables que describen a las personas en base a sexo biológico, estado civil, zona de residencia, y otros datos similares, que son los que realmente nos pueden garantizar la equidad en las decisiones que se toman a partir de algoritmo.

Resulta por tanto necesario establecer otras métricas adicionales a las clásicas de performance que midan la neutralidad o discriminación algorítmica y que nos indiquen por tanto que no se está produciendo discriminación con algún grupo social concreto. Para ello es necesario identificar en un problema de Machine Learning, adicional a la variable a predecir y el conjunto de variables independientes a partir de las cuales se hace la predicción; un subconjunto de variables de las variables independientes que suelen llamarse variables protegidas u otras variables que puedan inferir los valores de estas variables protegidas que suelen llamarse variables proxy; y considerar a la hora de establecer estas métricas de discriminación o neutralidad algorítmica, no sólo probabilidades del valor predicho condicionadas al valor real que tenía la etiqueta de clase en los datos de test; sino también condicionadas a la pertenencia a un grupo favorecido o desfavorecido de las variables protegidas.


Dependiendo de cómo combinemos estas tres variables (etiqueta de clase, valor predicho, y pertenencia a un grupo favorecido o desfavorecido de una variable protegida), a la hora de calcular las probabilidades condicionadas encontraremos distintos tipos de métricas de discriminación o neutralidad algorítmica que clasificaremos en tres grupos, independencia (p.e. Demographic Parity), separación (p.e Equal Opportunity, Predictive Equality, Equalized Odds) y suficiencia (p.e Predictive Parity).

Elegir las métricas adecuadas a optimizar para cada problema y optimizarlas no es una tarea sencilla, pues no todas las métricas pueden optimizarse simultáneamente, pero constituye la primera aproximación a la hora de corregir discriminaciones o sesgos que pueda estar generando el algoritmo. No obstante, como anteriormente hemos mencionado los sesgos pueden proceder de los datos históricos de entrada al algoritmo por lo que métricas como Statistical Parity Difference o Disparate Impact son esenciales a la hora de identificar sesgos en los datos de entrada y técnicas agnósticas al modelo tales como Reponderación de Datos o Additive Counterfactual Fairness para reducir esos sesgos forman parte también del proceso de conseguir un algoritmo que tenga un comportamiento socialmente no discriminatorio.

Estás métricas nos permitirán identificar si existe o no un sesgo o discriminación en los datos de partida y los métodos nos ayudarán a no proyectar ese sesgo en las decisiones a las que finalmente nos dirija el algoritmo con sus predicciones.

Adicional a los datos de entrada, habíamos indicado que las discriminaciones podían generarse en la propia lógica del algoritmo, y que en ocasiones es necesario reducir sesgos de la salida del algoritmo, para el que una técnica agnóstica al algoritmo utilizado como Reject Option Classifier, ofrece herramientas que complementan las dos anteriores y permiten ejercer control sobre cada punto del proceso dónde el sesgo y por tanto la discriminación puede aparecer.


El grupo de trabajo de Data Science y Machine Learning de DAMA España ha tratado con detalle estos métodos y técnicas en un WhitePaper disponible para los socios de DAMA España en este link.

Adicionalmente, estamos actualmente trabajando en líneas relativas a XAI (AI explicable); y en Accountability en AI, enfocada concretamente en la parte de monitorización de modelos para detectar Data Drift como Concept Drift, que esperamos poder compartir con todos vosotros en los próximos meses. Aprovechamos este artículo para animar a quien tenga interés en participar en estas líneas a contactar y colaborar en el grupo de trabajo.



Acerca de
DAMA España:

DAMA España es el capítulo español de la International Data Management Association, la principal organización internacional para profesionales de la gestión de datos.

El Capítulo español está activo desde marzo de 2019. Nuestra misión es la de promover y facilitar el desarrollo de la Cultura de Gestión de Datos e Información en España.

Respecto a la visión de DAMA España, queremos ser el referente para organizaciones y profesionales en la Gestión de Datos e Información en nuestro país, para encontrar y aportar recursos, información, formación, educación y conocimiento en la materia.

Somos una organización independiente de los fabricantes.