Lexique · Gouvernance & conformité
Biais algorithmique
Écart systématique dans les résultats d'un algorithme ou d'un système d'IA qui désavantage certaines personnes ou certains groupes, le plus souvent hérité des données d'entraînement, des choix de conception ou des conditions de déploiement. Il peut conduire à des discriminations, par exemple en matière de recrutement, de justice ou de prestations sociales.
- Rubrique
- Gouvernance
- Mise à jour
- Articles
- 1
Notions liées
Sources · 4
- [1] Algorithmes et discriminations : le Défenseur des droits, avec la CNIL, appelle à une mobilisation collective (CNIL)
- [2] Article 10 : Données et gouvernance des données (AI Act Service Desk, Commission européenne)
- [3] Article 4 bis : Traitement de catégories particulières de données à caractère personnel à des fins de détection et de correction des biais (AI Act Service Desk, Commission européenne)
- [4] Article 26 : Obligations incombant aux déployeurs de systèmes d'IA à haut risque (AI Act Service Desk, Commission européenne)
Ce que ça change pour une organisation
Selon la CNIL et le Défenseur des droits, des biais peuvent intervenir lors de la conception et du déploiement des algorithmes, comme dans les bases de données qui les alimentent : ces outils sont conçus par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations. Les domaines exposés incluent l’accès aux prestations sociales, la police, la justice et le recrutement.
Pour les systèmes d’IA à haut risque, l’AI Act prévoit que la gouvernance des données comprenne un examen permettant de repérer les biais susceptibles de porter atteinte à la santé, à la sécurité ou aux droits fondamentaux, ou de se traduire par une discrimination interdite, ainsi que des mesures pour les détecter, les prévenir et les atténuer (article 10, paragraphe 2, points f et g). Le déployeur qui contrôle les données d’entrée veille à ce qu’elles soient pertinentes et suffisamment représentatives (article 26, paragraphe 4). L’article 4 bis, ajouté par l’omnibus numérique sur l’IA, autorise à titre exceptionnel et sous conditions strictes le traitement de catégories particulières de données pour détecter et corriger des biais.
En pratique, il convient de documenter l’origine des jeux de données, de comparer les résultats entre groupes et de prévoir un contrôle humain.
Exemple
Exemple générique : un outil de présélection de candidatures est entraîné sur dix ans de décisions de recrutement au cours desquelles un profil était systématiquement moins retenu. Sans correction, le modèle peut reproduire cet écart à grande échelle, même si la caractéristique concernée ne lui est pas fournie, des variables corrélées pouvant suffire. Ce système relève de l’annexe III (recrutement) et donc de l’article 10.
À ne pas confondre avec
- La discrimination : qualification juridique d’un traitement défavorable fondé sur un critère prohibé, alors que le biais est une propriété technique du système qui peut en être la cause.
- Le biais humain : stéréotypes des concepteurs ou des décideurs, que les algorithmes peuvent reproduire.
- L’inexactitude : l’AI Act traite séparément l’exactitude, la robustesse et la cybersécurité (article 15) et l’examen des biais (article 10).
