'Decisión algorítmica y principio de igualdad', por Paolo Zuddas | La Administración al día
El presente trabajo se divide en dos partes. La primera analiza los riesgos de tomar decisiones discriminatorias relacionadas con el uso de un tipo específico de inteligencia artificial conocido como machine learning, identificando tres fases de la decisión algorítmica, en las que se pueden sentar las premisas para la manifestación de efectos discriminatorios. Efectos que pueden derivar: de los prejuicios del programador o de la organización en la que opera; del conjunto de datos utilizado para alimentar el sistema de machine learning; de la circunstancia no infrecuente en que el propio sistema de machine learning identifique algunas características que indirectamente se refieren a categorías protegidas de forma sustancialmente autónoma. La segunda parte identifica las herramientas que ofrece la ley para afrontar los peligros mencionados, señalando la necesidad de ampliar el objeto de la disciplina jurídica, que debe abordar esencialmente dos perfiles distintos de la decisión algorítmica: un perfil "interno", que concierne al funcionamiento de la inteligencia artificial, en las distintas fases relevantes identificadas; un perfil "externo" al funcionamiento de la inteligencia artificial, que da importancia al rol del algoritmo en la decisión final: es esencialmente el problema de la significatividad del algoritmo, es decir, la posibilidad de intervención humana en función de control, orientada a mitigar los efectos discriminatorios del modelo de decisión elaborado por el software.
Paolo Zuddas es Professore Associato di Istituzioni di Diritto pubblico en la Università degli studi dell’Insubria, Varese
Este artículo se publicó en el número 60 de la Revista General de Derecho Administrativo (Iustel, mayo 2022)