Derrière l’apparente neutralité des algorithmes, des recherches ont mis à jour l’ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations.

Considérant que cet enjeu ne doit pas être un angle mort du débat public, le Défenseur des droits, en partenariat avec la CNIL, a réuni les 28 et 29 mai, des spécialistes, chercheurs, juristes et développeurs autour des enjeux de transparence des algorithmes et des biais discriminatoires. Tous les experts ont pointé les risques considérables de discrimination que leur usage exponentiel peut faire peser sur chacun et chacune d’entre nous, dans toutes les sphères de notre vie.

Pour prévenir ces discriminations, les corriger et sanctionner leurs auteurs, le Défenseur des droits appelle à une prise de conscience collective et engage les pouvoirs publics et les acteurs concernés à prendre des mesures pour éviter que les discriminations soient reproduites et amplifiées par ces technologies. En partenariat avec la CNIL, il propose les orientations suivantes (10 pages, pdf) :

• Former et sensibiliser les professionnels des métiers techniques et d’ingénierie informatique aux risques que les algorithmes font peser sur les droits fondamentaux ;
• Soutenir la recherche pour développer les études de mesure et de prévention des biais, et approfondir la notion de « fair learning » – c’est-à-dire la conception d’algorithmes répondant à des objectifs d’égalité et de compréhension, et non seulement de performance ;
• Renforcer les obligations légales en matière d’information, de transparence et d’explicabilité des algorithmes à l’égard des usagers et personnes concernées, mais également des tiers et des professionnels utilisateurs de ces systèmes, au nom de l’intérêt général, comme en témoignent par exemple les questions suscitées par Parcoursup ;
• Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes et contrôler leurs effets après leur déploiement.

Le développement phénoménal des technologies algorithmiques et des systèmes apprenants impose, pour les institutions, de maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de les anticiper, pour permettre au débat démocratique de se tenir de manière éclairée tout en pensant un cadre juridique et une régulation protecteurs des droits et libertés.

Le Défenseur des droits et la CNIL continueront leurs réflexions sur ce sujet et contribueront à celles des décideurs publics. Dans cette perspective, leur boussole ne saurait être que la volonté de garantir à toutes et à tous le respect de leurs droits fondamentaux, et en particulier celui de ne pas être discriminé et celui de la protection de leurs données personnelles.