Nicolas Papernot allie protection de la vie privée et performance des algorithmes d’apprentissage

Je m'intéresse au respect de la vie privée et à la sécurité dans le développement d'algorithmes d'apprentissage automatique.

Nicolas Papernot

Professeur à l'université de Toronto, lauréat d'une chaire internationale Inria

Quel est votre parcours ?

« J'ai commencé mon parcours en ingénierie à Centrale Lyon en France avant de poursuivre avec une thèse à l'université d'état de Pennsylvanie où j'ai étudié la sécurité informatique. J'y ai découvert la thématique sur laquelle je travaille encore aujourd'hui : le respect de la vie privée et la sécurité dans le développement d'algorithmes d'apprentissage automatique. En fin de thèse, j'ai effectué un stage chez Google Brain, le laboratoire d'intelligence artificielle de Google. Et j'y suis resté un an après ma soutenance, avant de rejoindre l'Université de Toronto en 2019. »

Quelles étaient vos premières thématiques de recherche ?

« Mes premières recherches concernaient ce que nous appelons les "adversarial examples". Il s'agit de mettre en évidence les faiblesses et les vulnérabilités d'un algorithme en prouvant qu'il peut être sensible à des perturbations imperceptibles pour les humains. L'exemple classique est celui du panneau STOP sur lequel un autocollant est posé. L'humain reconnaîtra le stop. Le modèle d'IA lui peut se tromper, l'autocollant gênera son analyse. Cette problématique est très importante dans le cadre des véhicules autonomes ou de la sécurité en général. »

Puis chez Google Brain, s'est posée la question des données personnelles…

« Oui, nous cherchions à développer des algorithmes capables d'analyser des données contenant potentiellement des informations personnelles, sans toutefois les retenir. Nos jeux de données incluaient des conversations, des échanges entre personnes, mais nos algorithmes d'apprentissage ne devaient pas retenir les noms ou des données spécifiques à ces individus comme leur adresse par exemple. Nous avons réussi à développer plusieurs approches qui utilisent la notion de "différental privacy", confidentialité différentielle en français. »

Maintenant vous avez votre propre équipe de recherche.

« Depuis 2019, à l'université de Toronto, j'ai mon laboratoire avec mon équipe. J'apprécie particulièrement travailler avec les étudiants. Ils apportent de nouvelles idées et portent un regard neuf sur les problématiques. Ils sont très créatifs et c'est ce qui amène les découvertes les plus intéressantes ! »

Protéger la vie privée peut limiter la précision des prédictions des algorithmes d'apprentissage automatique, surtout pour les cas rares.

Quel est votre sujet de recherche principal aujourd'hui ?

« Une grande partie de nos travaux concernent l'audit des modèles d'apprentissage automatique. Quand on est un régulateur ou un législateur, comment fait-on pour analyser un algorithme ou un modèle d'IA qui a été déployé par le secteur privé ou dans un hôpital par exemple ? Il existe une tension entre modéliser une population à partir de ses données et faire des prédictions précises sur les individus. Protéger la vie privée peut limiter la précision des prédictions des algorithmes d'apprentissage automatique, surtout pour les cas rares. Dans les données médicales, par exemple, il est plus facile de modéliser les personnes en bonne santé que les malades. Et les algorithmes respectant la vie privée amplifient ce problème. Nous devons tenir compte de ces contraintes spécifiques et c'est ce qui nous intéresse. »

Quel est le lien avec l'équipe PreMeDiCal de l'antenne Inria de Montpellier ?

« Nous nous évaluons la performance d'algorithmes entraînés sur des jeux de données très académiques, qui posent peu de problème de sécurité. Mais dans la réalité, notamment dans le secteur médical, c'est très différent. Les données sont beaucoup plus complexes et difficiles à utiliser si on veut un algorithme performant tout en cherchant à protéger la vie privée. Dans ce cas, nous devons réaliser un travail en amont de l'apprentissage automatique. Notre collaboration avec l'équipe-projet PreMeDiCal porte sur cette problématique. Un étudiant est déjà venu travailler avec nous et j'ai déjà écrit des articles avec Aurélien Bellet, directeur de recherche Inria. »

Pourquoi collaborer avec des équipes de recherche françaises ?

« Ce que j'ai remarqué lors de mes précédents séjours en France, c'est la qualité des discussions scientifiques, elles étaient franchement exceptionnelles. L'organisation des équipes de recherche est un peu différente de chez nous. Nos laboratoires sont des structures plus indépendantes et nous avons beaucoup de responsabilités, de travail de gestion et d'organisation. En France, les chercheurs ont peut-être plus de capacité à s'impliquer dans un projet scientifique, y compris dans les détails. »

Photo by Matthew Tierney - Illustration : By K6ka - Own work, CC BY-SA 4.0, Link.