Plusieurs scandales ont éclaté ces dernières années, mettant en cause des systèmes d’aide à la décision basés sur l’intelligence artificielle (IA) qui produisent des résultats racistes ou sexistes.

C’était le cas, par exemple, de l’outil de recrutement d’Amazon qui exhibait des biais à l’encontre des femmes, ou encore du système guidant les soins hospitaliers dans un hôpital américain qui privilégiait systématiquement les patients de couleur blanche par rapport aux patients noirs. En réponse au problème de biais dans l’IA et les algorithmes d’apprentissage automatique, des législations ont été proposées, telles que le AI Act dans l’Union européenne, ou le National AI Initiative Act aux États-Unis.

Un argument largement repris concernant la présence de biais dans l’IA et les modèles d’apprentissage automatique est que ces derniers ne font que refléter une vérité de terrain : les biais sont présents dans les données réelles. Par exemple, des données de patients ayant une maladie touchant spécifiquement les hommes résultent en une IA biaisée envers les femmes, sans que cette IA soit pour autant incorrecte.

Si cet argument est valide dans certains cas, il existe de nombreux cas où les données ont été collectées de manière incomplète et ne reflètent pas la diversité de la réalité terrain, ou encore des données qui incluent des cas statistiquement rares et qui vont être sous-représentés, voire non représentés dans les modèles d’apprentissage automatique. C’est le cas, par exemple, de l’outil de recrutement d’Amazon qui exhibait un biais envers les femmes : parce que les femmes travaillant dans un secteur sont statistiquement peu nombreuses, l’IA qui en résulte rejette tout simplement les candidatures féminines.

Et si plutôt que refléter, voire exacerber une réalité actuelle dysfonctionnelle, l’IA pouvait être vertueuse et servir à corriger les biais dans la société, pour une société plus inclusive ? C’est ce que proposent les chercheurs avec une nouvelle approche : l’« apprentissage fédéré ».

Vers une IA décentralisée

Les systèmes d’aide à la décision basés sur l’IA se basent sur des données. En effet, dans les approches classiques d’apprentissage automatique, les données provenant de plusieurs sources doivent tout d’abord être transmises à un dépôt (par exemple, un serveur sur le cloud) qui les centralise, avant d’exécuter un algorithme d’apprentissage automatique sur ces données centralisées.

Or ceci soulève des questions de protection des données. En effet, conformément à la législation en vigueur, un hôpital n’a pas le droit d’externaliser les données médicales sensibles de ses patients, une banque n’a pas le droit d’externaliser les informations privées des transactions bancaires de ses clients.

Par conséquent, pour mieux préserver la confidentialité des données dans les systèmes d’IA, les chercheurs développent des approches basées sur une IA dite « distribuée », où les données restent sur les sites possesseurs de données, et où les algorithmes d’apprentissage automatique s’exécutent de manière distribuée sur ces différents sites — on parle également d’« apprentissage fédéré ».

Concrètement, chaque possesseur de données (participant à l’apprentissage fédéré) entraîne un modèle local sur la base de ses propres données, puis transmet les paramètres de son modèle local à une entité tierce qui effectue l’agrégation des paramètres de l’ensemble des modèles locaux (par exemple, via une moyenne pondérée selon le volume de données de chaque participant). Cette dernière entité produit alors un modèle global qui sera utilisé par les différents participants pour effectuer leurs prédictions.

Ainsi, il est possible de construire une connaissance globale à partir des données des uns et des autres, sans pour autant révéler ses propres données et sans accéder aux données des autres. Par exemple, les données médicales des patients restent dans chaque centre hospitalier les possédant, et ce sont les algorithmes d’apprentissage fédéré qui s’exécutent et se coordonnent entre ces différents sites.

Avec une telle approche, il sera possible pour un petit centre hospitalier dans une zone géographique moins peuplée que les grandes métropoles — et donc possédant moins de données médicales que dans les grands centres hospitaliers, et par conséquent, possédant a priori une IA moins bien entraînée — de bénéficier d’une IA reflétant une connaissance globale, entraînée de manière décentralisée sur les données des différents centres hospitaliers.

D’autres cas d’applications similaires peuvent être mentionnés, impliquant plusieurs banques pour construire une IA globale de détection de fraudes, plusieurs bâtiments intelligents pour déterminer une gestion énergétique appropriée, etc.

Les biais dans l’IA décentralisée sont plus complexes à appréhender

Comparée à l’approche classique d’apprentissage automatique centralisé, l’IA décentralisée et ses algorithmes d’apprentissage fédéré peuvent, d’une part, exacerber encore plus le biais, et d’autre part, rendre le traitement du biais plus difficile.

En effet, les données locales des participants à un système d’apprentissage fédéré peuvent avoir des distributions statistiques très hétérogènes (des volumes de données différents, des représentativités différentes de certains groupes démographiques, etc.). Un participant contribuant à l’apprentissage fédéré avec un grand volume de données aura plus d’influence sur le modèle global qu’un participant avec un faible volume de données. Si ce dernier est dans d’une certaine zone géographique qui représente un groupe social en particulier, celui-ci ne sera malheureusement pas, ou très peu, reflété dans le modèle global.

Par ailleurs, la présence de biais dans les données d’un des participants à un système d’apprentissage fédéré peut entraîner la propagation de ce biais vers les autres participants via le modèle global. En effet, même si un participant a veillé à avoir des données locales non biaisées, il héritera du biais présent chez d’autres.

Et plus difficiles à corriger

De plus, les techniques classiquement utilisées pour prévenir et corriger le biais dans le cas centralisé ne peuvent pas s’appliquer directement à l’apprentissage fédéré. En effet, l’approche classique de correction du biais consiste principalement à prétraiter les données avant l’apprentissage automatique pour que les données aient certaines propriétés statistiques et ne soient donc plus biaisées ?

Or dans le cas d’une IA décentralisée et d’apprentissage fédéré, il n’est pas possible d’accéder aux données des participants, ni d’avoir une connaissance des statistiques globales des données décentralisées.

Dans ce cas, comment traiter le biais dans les systèmes d’IA décentralisée ?

Mesurer le biais de l’IA sans avoir accès aux données décentralisées

Une première étape est de pouvoir mesurer les biais des données décentralisées chez les participants à l’apprentissage fédéré, sans avoir directement accès à leurs données.

Avec mes collègues, nous avons conçu une nouvelle méthode pour mesurer et quantifier les biais dans les systèmes d’apprentissage fédéré, sur la base de l’analyse des paramètres des modèles locaux des participants à l’apprentissage fédéré. Cette méthode a l’avantage d’être compatible avec la protection des données des participants, tout en permettant la mesure de plusieurs métriques de biais.

Capturer l’interdépendance entre plusieurs types de biais, et les corriger dans l’IA décentralisée

Mais il peut aussi y avoir plusieurs types de biais démographiques, qui se déclinent selon différents attributs sensibles (le genre, la race, l’âge, etc.), et nous avons démontré qu’atténuer un seul type de biais peut avoir pour effet collatéral l’augmentation d’un autre type de biais. Il serait alors dommage qu’une solution d’atténuation du biais lié à la race, par exemple, provoque une exacerbation du biais lié au genre.

Nous avons alors proposé une méthode multi-objectifs pour la mesure complète des biais et le traitement conjoint et cohérent de plusieurs types de biais survenant dans les systèmes d’apprentissage fédéré.

Ces travaux sont le fruit d’une collaboration avec des collègues chercheurs, doctorants et stagiaires : Pascal Felber, (Université de Neuchâtel), Valerio Schiavoni (Université de Neuchâtel), Angela Bonifati (Université Lyon 1), Vania Marangozova (Université Grenoble Alpes), Nawel Benarba (INSA Lyon), Yasmine Djebrouni (Université Grenoble Alpes), Ousmane Touat (INSA Lyon).

Le projet CITADEL est soutenu par l’Agence nationale de la recherche (ANR), qui finance en France la recherche sur projets. Elle a pour mission de soutenir et de promouvoir le développement de recherches fondamentales et finalisées dans toutes les disciplines, et de renforcer le dialogue entre science et société. Pour en savoir plus, consultez le site de l’ANR.

>> L’autrice : 

Sara Bouchenak, Professeure d’Informatique – INSA Lyon, INSA Lyon – Université de Lyon

Cet article est republié sous licence Creative Commons.

>> Lire l’article original :

The Conversation