Les grands modèles de langage ont récemment attiré beaucoup d’attention, notamment grâce à l’agent conversationnel ChatGPT. Cette plate-forme est devenue virale en seulement quelques mois et a déclenché une course effrénée pour développer de nouveaux modèles de langage toujours plus efficaces et puissants, rivalisant avec l’humain pour certaines tâches.

Cette croissance phénoménale est d’ailleurs jugée dangereuse par de nombreux acteurs du domaine, qui plaident pour une pause afin d’avoir le temps de débattre sur l’éthique en IA et de mettre à jour les réglementations.

Une des grandes questions qui se pose est l’articulation entre intelligence artificielle et vie privée des utilisateurs. En particulier, les prouesses des grands modèles de langage sont dues à un entraînement intensif sur d’énormes ensembles de données, qui contiennent potentiellement des informations à caractère personnel, car il n’y a pas d’obligation d’anonymiser les données d’entraînement.

Il est alors difficile de garantir en pratique que le modèle ne compromet pas la confidentialité des données lors de son utilisation. Par exemple, un modèle pourrait générer des phrases contenant des informations personnelles qu’il a vues pendant sa phase d’entraînement.

AApprendre à imiter le langage humain

Les modèles de traitement du langage sont une famille de modèles basés sur l’apprentissage automatique (machine learning en anglais), entraînés pour des tâches telles que la classification de texte, le résumé de texte et même des chatbots.

Ces modèles apprennent d’une part à encoder les mots d’une phrase sous la forme de vecteurs, en tenant compte de l’ensemble du contexte. Dans les phrases « J’ai mangé une orange » et « Son manteau orange est beau », le mot « orange » se verra attribuer deux encodages différents, puisque la position et le sens ne sont pas les mêmes.

Ces modèles apprennent également à décoder ces ensembles de vecteurs contextualisés et leurs relations, pour générer de nouveaux mots. Une phrase est générée séquentiellement, en prédisant le prochain mot en fonction de la phrase d’entrée et des mots prédits précédemment.

L’architecture de ces modèles peut être spécialisée pour certaines tâches. Par exemple, les modèles de type BERT sont souvent « affinés » en apprenant sur des données spécialisées, par exemple sur des dossiers de patients pour développer un outil de diagnostic médical, et sont plus performants sur des tâches de classification de texte tandis que les modèles GPT sont utilisés pour générer de nouvelles phrases. Avec l’essor des applications exploitant les modèles de langage de langage, les architectures et les algorithmes d’entraînement évoluent rapidement. Par exemple, ChatGPT est un descendant du modèle GPT-4, son processus d’apprentissage ayant été étendu pour se spécialiser dans la réponse aux questions.

CConfidentialité des informations utilisées pendant la phase d’entraînement du modèle

Les modèles de traitement du langage naturel ont besoin d’une quantité énorme de données pour leur entraînement. Pour ChatGPT par exemple, les données textuelles du web tout entier ont été récoltées pendant plusieurs années.

Dans ce contexte, la principale préoccupation en matière de confidentialité est de savoir si l’exploitation de ces modèles ou les informations qu’ils produisent peuvent dévoiler des données personnelles ou sensibles utilisées pendant la phase d’apprentissage et « recrachées » ou inférées pendant la phase d’utilisation.

Considérons d’abord les chatbots (exploitant les modèles de type GPT) qui ont appris à générer des phrases à partir d’un texte d’entrée. D’un point de vue mathématique, chaque mot est prédit séquentiellement, sur la base de probabilités qui auront été apprises durant la phase d’entraînement.

Le problème principal est que des données potentiellement personnelles peuvent parfois constituer la réponse la plus probable. Par exemple, si le modèle a vu la phrase « Monsieur Dupont habite 10 rue de la République » et qu’on lui demande « Où habite Monsieur Dupont ? », le modèle sera naturellement enclin à répondre l’adresse de celui-ci. Dans la pratique, le modèle aura aussi vu de nombreuses phrases de la forme « X habite à Y » et on s’attend plutôt à ce qu’il réponde des connaissances générales plutôt que des adresses spécifiques. Néanmoins, le risque existe et il est nécessaire de pouvoir le quantifier.

ÉÉvaluer les probabilités de fuites de données

Il existe tout d’abord des techniques pour évaluer en amont de l’entraînement final si des phrases rares ont le potentiel d’être anormalement mémorisées par le modèle. On réalise pour cela des micro-entraînements, avec et sans ces phrases, et l’on se débarrasse de celles qui auraient une influence trop grande.

Mais les gros modèles de traitement du langage naturel sont non déterministes et très complexes de nature. Ils sont composés de milliards de paramètres et l’ensemble des résultats possibles étant infini, il est en pratique impossible de vérifier manuellement le caractère privé de toutes les réponses. Néanmoins, il existe des métriques qui permettent d’approximer ou de donner une borne maximale sur les fuites de données potentielles.

Une première métrique est l’« extractibilité ». Nous disons qu’un texte est « k-extractible » s’il est possible de le générer à partir d’une entrée de longueur k (en nombre de mots). Par exemple, si le modèle renvoie « 10 rue république » lorsqu’on lui demande « Monsieur Dupont habite à », cette adresse est 3-extractible.

Pour les données personnelles ou sensibles, l’objectif est d’avoir un k le plus élevé possible, car un k faible implique une extraction facile. Une étude de ce type a été réalisée sur GPT-2 : elle a permis d’extraire facilement des informations personnelles sur des individus.

Un autre risque qu’on peut évaluer est l’« inférence d’appartenance ». L’objectif ici est d’identifier si une donnée a été utilisée lors de l’apprentissage du modèle. Supposons par exemple qu’un hôpital entraîne un modèle pour détecter la présence de cancer à partir d’extraits médicaux de patients. Si vous parvenez à découvrir que le modèle a été entraîné sur les données de Monsieur Dupont, vous apprendrez indirectement qu’il est probablement atteint de cancer.

Pour éviter cela, nous devons nous assurer que le modèle ne donne aucun indice quant aux données sur lesquelles il a été entraîné, ce qu’il fait par exemple lorsqu’il se montre trop confiant vis-à-vis de certaines réponses (le modèle va mieux se comporter sur des données qu’il a déjà vu pendant la phase d’entraînement).

TTrouver le bon compromis

Faire comprendre au modèle quelles données sont à caractère personnel n’est pas évident, puisque la frontière entre ces deux types de données dépend bien souvent du contexte (l’adresse d’Harry Potter est connue de tous, contrairement à celle de Monsieur Dupont).

L’entraînement d’un modèle qui respecte la confidentialité passe alors souvent par l’ajout de bruit à un moment ou un autre. L’ajout de bruit consiste à altérer l’information apprise ou bien les réponses du modèle, ce qui permet de réduire les risques d’extraction ou d’inférence. Mais cela implique aussi une légère baisse d’utilité. Il faut donc faire un compromis entre performance et respect des données personnelles.

Les applications potentielles des modèles de langage sont incroyablement vastes, mais il est nécessaire d’encadrer leur pratique en prenant compte les risques de fuites avant leur déploiement. De nouvelles méthodes d’entraînement, ainsi que l’anonymisation des données, voire l’utilisation de données synthétiques, sont toutes des solutions prometteuses et en cours d’étude, mais il faudra de toute manière les accompagner de métriques et de méthodologies pour valider non seulement les performances mais aussi la confidentialité des informations personnelles utilisées lors de l’entraînement des modèles.

Article publié sur The Conversation le 23 juin 2023

Cet article a été co-écrit par Gaspard Berthelier, en stage au centre Inria de l’Université Grenoble Alpes dans l’équipe Privactics, sur le natural language processing (NLP) et le respect des données personnelles.

Antoine Boutet, Maitre de conférence, Privacy, IA, au laboratoire CITI, Inria, INSA Lyon – Université de Lyon

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.

Mercedes EQS, Tesla, Waymo (Google cars), les véhicules autonomes deviennent progressivement une alternative crédible aux véhicules que l’on connaît depuis toujours et augurent une transformation des mobilités. Certes, ils sont encore loin d’être à la portée financière de tout le monde ; certes, la réglementation pose (encore ?) des restrictions à leur usage. Néanmoins, le stade d’avancement des projets et les perspectives d’avenir de ce mode de transport suscitent un intérêt croissant de chercheurs issus de tous horizons : quelques 22 890 publications académiques ont été recensées à ce sujet entre 2011 et juillet 2020.

Outre les travaux de sciences de l’ingénieur, les économistes ont interrogé leur effet sur la valeur que l’on accorde au temps ou la propension à payer pour voyager ainsi. D’autres, encore, ont posé un point de vue éthique à partir du dilemme du tramway qui questionne les comportements à suivre lorsque l’on doit choisir entre un drame ou un autre.

Cependant, peu d’approches expérimentales ont été, à notre connaissance, adoptées. Notre idée a été d’observer comment 30 participants adultes aux profils variés se représentent l’objet avant et après l’avoir essayé. Ils se sont assis sur le siège traditionnellement dévolu au conducteur pour un trajet de 5 kilomètres sur une boucle d’environ un kilomètre sur le campus de l’École Centrale de Nantes, dans une Renault Zoé automatique. Le parcours a été dessiné sur route ouverte, partagée donc avec d’autres utilisateurs, et non sur un circuit test. La vitesse maximale était de 25 km/h. Ils ont pris place à bord avec un pilote de sécurité pouvant reprendre le contrôle à tout moment sur le siège passager (c’est une obligation légale en France) et un membre de l’équipe de recherche à l’arrière.

Que fait-on de son trajet lorsqu’il n’y a plus de volant à tenir ? Quelle est notre attitude vis-à-vis du véhicule ? Les réponses à ces questions, qu’a tenté d’apporter notre étude, sont riches en indications quant à l’acceptation que peut trouver dans la société ce moyen de transport. Beaucoup de participants étaient, avant de monter à bord, plutôt excités, en confiance, peu stressés. Le tableau à la descente n’était plus tout à fait le même…

Pas plus rassuré à l’arrivée qu’au départ, au contraire…

Nous nous sommes tout d’abord intéressés au ressenti général des individus. Avant l’essai, l’attitude des participants pouvait être qualifiée globalement de positive. Sans doute y a-t-il un biais à ce niveau, dans la mesure où celles et ceux qui ont participé à l’expérience, volontaires, en avaient largement envie. Cette envie et cette excitation demeurent à l’arrivée malgré une hausse substantielle du stress et de la peur. En outre, 62 % des individus se disaient confiants au départ contre seulement 13 % après l’expérience. Ils sont également plus de deux fois plus à ressentir un stress en descendant qu’en montant.

Cette baisse de la confiance se traduit par un rapport au véhicule bien plus hésitant. Non seulement il semble que l’on prend moins de plaisir à se laisser conduire par ces véhicules, mais encore on semble moins disposé à y embarquer des proches avec soi. Avant l’expérience, seulement 7 % des participants disaient ne pas être prêts à faire voyager leur famille par ce moyen quand 45 % l’étaient et 48 % hésitaient. Passé le trajet, les rapports s’inversent : moins de 7 % de personnes prêtes, 40 % d’hésitants et 53 % qui s’y refusent.

Si l’expérience permet de convaincre que les véhicules autonomes représentent l’avenir (on passe de 10 % à 90 % de convaincus), elle fait diminuer la croyance en les capacités de ce nouveau moyen de transport : non, on ne pense pas qu’il solutionnera les problèmes de congestion ; non, on ne pense pas qu’il permette d’être plus productif. Du moins, ces résultats s’appliquent-ils au niveau de technologie utilisé dans notre expérience en 2021 dans un contexte qui évolue très vite.

Que fait-on à bord d’un véhicule autonome ?

Beaucoup d’individus ont ainsi revu leurs occupations durant le trajet. Plus stressés, ils ont été bien plus à regarder la route ou par la fenêtre par rapport à ce qu’ils envisageaient de le faire. Nous demandions pourtant aux participants de se comporter comme s’ils étaient sur un trajet quotidien entre domicile et travail.

Nos résultats suggèrent ainsi que les participants voient dans la voiture autonome quelque chose de plus proche d’une voiture standard que d’un train dans lequel on peut se livrer à d’autres activités.

Certes, ces différences entre des attentes idéalisées et la réalité mériteraient d’être documentées par un échantillon plus large. Ces premières tendances soulignent néanmoins qu’une attention mérite d’être accordée au développement d’expériences in situ. Elles seules permettent d’obtenir une véritable connaissance de l’acceptation par la société de ces nouveaux véhicules et, par la même, d’anticiper les effets de l’automatisation sur les comportements de mobilité.

C’est là l’objet du projet Aura AutoBehave dans lequel s’inscrit cette étude. Elle en constitue le volet « économique » en attendant des résultats des méthodes issues d’autres disciplines (sciences cognitives, intelligence artificielle…) qui sont en train d’être analysés et seront publiés bientôt.

Le projet AutoBehave est porté par le laboratoire Liris et vise à étudier ce qui se passe à l’intérieur des véhicules autonomes : que fera le conducteur s’il ne conduit pas ? Comment les nouvelles activités impactent-elles le confort à l’intérieur de la voiture ? Quels seront les impacts économiques de ces nouvelles activités ? Quels aménagements intérieurs seraient alors adaptés à ces activités pour un meilleur confort de vie à bord ? Pour apporter des éléments de réponses, le consortium du projet AutoBehave allie les compétences d’informaticiens (Liris), d’ergonomes physiciens et de biomécaniciens (LBMC), d’économistes (Laet), de psychologues (Lescot) à celles de l’entreprise DEMS, bureau d’étude spécialisé dans le design industriel en particulier celui des véhicules.

Publié  sur The Conversation le 6 juin 2023

Stéphanie Souche-Le Corvec, Professor in economics, Université Lumière Lyon 2 ; Carlos Crispim Junior, Associate professor in electrical engineering, Université Lumière Lyon 2 et Florent Laroche, Maître de conférence en économie, Université Lumière Lyon 2

Cet article est republié à partir de The Conversation sous licence Creative Commons.

Lire l’article original

Le monde évolue à une vitesse vertigineuse, façonné par les avancées technologiques qui définissent notre époque. Mais au-delà des promesses de progrès et de facilité, se cache une question cruciale : le numérique est-il vraiment durable ?

À travers son livret en ligne « Le numérique est-il un progrès durable », l’Inria offre des pistes de réflexion et propose des solutions pour construire un numérique plus responsable et durable. En explorant les différentes dimensions du numérique, il nous encourage à prendre conscience de notre rôle individuel et collectif dans cette transformation.

>> Découvrez le livret en ligne :

INRIA

>> Pour aller plus loin :

L’impact écologique du numérique | Une bd pop’sciences

Cinq journées pour comprendre, imaginer, construire les possibles autour du changement global.

Du 24 au 28 janvier 2023, l’École urbaine de Lyon – Université de Lyon et ses partenaires proposent la 5^e édition de l’événement « À l’École de l’Anthropocène » accueillie, pour la seconde année, au Rize à Villeurbanne. L’exploration de la question anthropocène, pour tous les publics, se poursuit à travers une diversité féconde de formats et d’acteurs. L’anthropologue Tim Ingold sera l’invité d’honneur de cette édition placée sous le signe de la fragilité, du soin et de la relationnalité.

Au programme, soirées débats, conférences, performances – cours publics – ateliers, séminaires – balades et visite de l’exposition « ça se trame à Villeurbanne » – portraits de figures de l’écologie – cartes blanches à des collectifs – rencontres à la médiathèque du Rize avec des auteurs autour de leur parution récente – programmation cinéma adulte et jeunesse au Comoedia – programmation de Radio Anthropocène.

PROGRAMME

>> Pour en savoir plus : ecoleanthropocene.universite-lyon.fr

Un événement produit par : l’École urbaine de Lyon/Université de Lyon,

En partenariat avec : le Rize, le LabEx IMU (Intelligences des Mondes Urbains) et Cité anthropocène.
Une programmation préparée en collaboration avec : October Octopus.

Partenaires : Ville de Villeurbanne – Métropole de Lyon – Centre national d’études spatiales (CNES) – Laboratoire Environnement Ville Société (EVS) – Comœdia – SERL – Maison du projet Gratte-Ciel Centre-Ville – LyonBD Festival – Centre de Culture Contemporaine de Barcelone (CCCB) – Ville de Lyon – Radio Bellevue Web – Lyon Music.

Engouement, critiques vives, intérêt, incompréhension sont autant de réactions suscitées par les technologies blockchains. Quelle que soit la position que l’on adopte, il est indéniable que l’évolution des technologies et leur utilisation engendrent des nouvelles questions dans le champ de l’informatique, de l’économie et du droit.

Sommes-nous face à une profonde mutation technologique, économique et juridique ? Les entreprises sont-elles prêtes à intégrer cette innovation ? Comment ? Pourquoi ? Les acteurs publics entendent ils soutenir cette technologie et dans quelle mesure ?

L’heure est donc venue de faire le point à travers les interventions de nos experts :

• Regards croisés de chercheurs
• L’expérience de l’entreprise
• Le point de vue des acteurs publics

La CSTI de l’UJM vous convie à une soirée consacrée à la technologie des blockchains !

>> Découvrez le programme de la soirée :

CSTI – Université Jean Monnet