L’explicabilité de l’IA en finance
lundi 16 novembre 2020
David Bounie, professeur d’économie et Olivier Fliche, directeur du pôle Fintech-Innovation à l’ACPR ont introduit le webinaire en présentant le cycle de conférence à venir : les « Lundis de l’IA » sont des conférences se tenant une fois tous les deux mois, sur des thèmes liés à la régulation de l’IA, aux obstacles et aux opportunités du déploiement de l’IA dans la finance, en liant perspectives académiques et perspectives des acteurs du marché.
Le webinaire se déroulait en deux tables rondes. La première présentait le concept d’explicabilité d’un point de vue théorique, en passant par sa définition technique, son utilité pour la société et son application recommandée du point de vue d’un régulateur – l’ACPR. La deuxième table ronde se penchait sur les attentes et les défis du marché concernant l’explicabilité.
Table ronde : l’explicabilité, de la théorie à la régulation
Astrid Bertrand, doctorante à Télécom Paris sur l’explicabilité de l’IA, a introduit cette première table ronde en accueillant Florence d’Alché-Buc, professeur en sciences des données à Télécom Paris. Pr. d’Alché-Buc a commencé par nous présenter rapidement l’état de l’art de l’IA. Nous avons été témoins ces dernières années d’avancées significatives dans le domaine de la statistique avec l’apprentissage automatique et symbolique. Les réseaux neuronaux profonds, notamment, ont montré des résultats spectaculaires en matière de performance si bien que l’IA s’intègre dans certains de nos processus décisionnels aujourd’hui. L’explicabilité est la science de décrire l’objectif et le processus de prise de décision de l’outil d’IA d’une manière qui peut être comprise par une personne moyenne. C’est d’autant plus important que les algorithmes d’apprentissage automatique les plus performants sont compliqués à comprendre, de par leurs objectifs de nature statistique notamment. Florence est ensuite revenue sur le besoin d’explicabilité, que l’on peut classifier en 4 catégories : expliquer pour donner confiance, pour contrôler, pour améliorer, et pour découvrir. Selon l’objectif que l’on veut poursuivre, mais aussi selon l’audience de l’explication – expert en data science ou utilisateur profane – les explications peuvent être très variées. Certaines, dites « locales », se contentent d’expliquer une décision algorithmique précise, tandis que d’autres dites « globales » tentent d’expliquer le fonctionnement général du modèle. Les explications dépendent également de la nature des données. Pr. d’Alché-Buc nous a présenté certaines des principales méthodes d’explicabilité utilisées saujourd’hui : LIME, les cartes de saillance, Tree Explainer (SHAP) et les méthodes d’explicabilité dites ‘by design’. Pour finir, elle a souligné que le champ de recherche de « l’XAI » est encore à ses débuts, et que les explications aujourd’hui ressemblent plus à des interprétations qu’à des explications. Il faut se demander comment lier les explications avec les raisonnements humains et les structures de connaissance humaines ? Pour le Pr. d’Alché-Buc, rendre un modèle prédictif explicable relève de l’IA symbolique et fait appel à l’automatisation du raisonnement et à la représentation des connaissances.
Nous avons ensuite accueilli Winston Maxwell, directeur d’études en droit numérique à Télécom Paris et responsable du programme Operational AI Ethics. M. Maxwell a commencé par souligner l’importance de l’explicabilité pour construire une IA de confiance, en présentant ce principe comme l’un des 5 pilliers de recherche de l’initiative Operational AI Ethics de Télécom Paris, avec l’équité, l’intérêt général, la responsabilité et la gouvernance. S’appuyant sur un schéma extrait d’un papier de recherche de l’équipe de Télécom Paris[1], M. Maxwell a résumé les facteurs contextuels à prendre en compte pour motiver et orienter le choix d’une explication : l’audience de l’explication, les risques de l’IA, les contraintes légales spécifiques au secteur d’application ou plus générales comme les droits fondamentaux, et enfin les contraintes opérationnelles.
Passant maintenant à la perspective juridique, M. Maxwell a donné un aperçu du droit à l’explication, qui en est encore à ses balbutiements. D’abord, on peut noter une différence entre secteur publique et secteur privé. Dans le secteur public, le droit institutionnel et les droits fondamentaux sont très proéminents, tandis que dans le secteur privé, les lois spécifiques telles que la protection des données personnelles sont plus courantes. Ensuite, M. Maxwell a développé cinq leçons principales du droit à l’explication, s’appuyant sur des cas de jurisprudence et de régulation :
- La première leçon, issue des lois du secteurs public, comme la loi sur la reconnaissance faciale de l’état de Washington, aux États-Unis, ainsi que le règlement européen ‘Plateform-to-Business’, est le besoin d’une explicabilité adaptée à la personne qui la reçoit.
- Le deuxième point s’appuie sur la jurisprudence américaine Houston Teachers, selon laquelle une décision algorithmique doit être réplicable.
- Troisièmement, l’affaire Loomis, de l’État de Washington aux États-Unis, nous dit qu’il faut que les algorithmes (ici des algorithmes d’évaluation du risque de récidive) soient accompagnés d’une sorte de notice d’utilisation (comme pour un médicament) pour mettre en garde contre les risques susceptibles d’être contenus dans leurs prédictions.
- Quatrièmement, un cas de jurisprudence européenne, l’affaire SyRI aux Pays-Bas, met l’accent sur l’importance de l’auditabilité de l’agorithme pour justifier de sa nature non-discriminatoire.
- Enfin, La Quadrature du Net, jurisprudence européenne, souligne la nécessité d’une intervention humaine de qualité pour valider ou infirmer les conclusions des algorithmes, même quand il est question de mesures contre une menace importante pour la société.
Le dernier intervenant de cette table ronde « théorique » sur l’explicabilité était Laurent Dupont, Data Scientist senior au pôle Fintech-Innovation à l’ACPR. M. Dupont nous a présenté le point de vue du superviseur sur l’explicabilité de l’IA dans le secteur financier, en reprenant des concepts du récent document de réflexion publié par l’ACPR en juin 2020 sur la gouvernance des algorithmes. Le document dégage quatre grands principes de conception de l’IA en finance : la performance, la stabilité, le traitement des données et l’explicabilité. Les objectifs de l’ACPR, en tant que régulateur, ne sont pas de prescrire les outils qui permettent de construire de l’IA mais plutôt de pointer les principes dont l’impact est le plus important.
Une des préconisations du document de réflexion est que l’évaluation d’un algorithme doit couvrir l’ensemble des étapes de son cycle de vie, de sa conception et apprentissage jusqu’à sa validation, son déploiement et sa maintenance, via un processus de contrôle adéquat spécifique à chaque étape. Le document développe également une échelle de 4 niveaux d’explicabilité : du niveau le plus simple, « l’observation » jusqu’au niveau très détaillé de la « réplication ». Le niveau approprié pour un contexte donné se détermine selon les risques de l’application d’IA et l’audience des explications.
Dupont a ensuite adopté un angle plus pratique en présentant un tableau des principales méthodologies d’explicabilité qui sont réellement utilisées dans le secteur financier. La première approche, la plus fréquente en finance, est l’explication post-modélisation (SHAP, LIME…) Le deuxième type d’approche consiste à utiliser des architectures explicables qui introduisent dans les algorithmes des règles métier plus logiques à interpréter ou bien y distillent des connaissances « humaines ». L’approche préconisée dans le document de réflexion de l’ACPR est de ne pas déployer de boîte noire si un modèle aussi performant mais plus interprétable existe. Néanmoins, si la boite noire est inévitable, il convient d’être le plus transparent possible sur le gain associé en performance.
Enfin, Laurent Dupont a exposé certaines des limites de l’explicabilité, notamment en citant une étude montrant que les raisonnements humain et algorithmique sont très complémentaires, suggérant par là même qu’ils sont également profondément différents.[2]
Table ronde : Comment appréhender l’explicabilité pour les acteurs du marché ?
Pour la deuxième table ronde, animée par Olivier Fliche, nous avons eu le plaisir d’accueillir deux experts du marché financier : Jean Barrère, Associé Data Intelligence chez PwC France et Maghreb et Antoine Lissowski, Directeur Général de CNP Assurances, pour nous présenter respectivement les défis du marché pour l’explicabilité et l’explicabilité dans l’assurance.
La présentation de Jean Barrère nous a donné un panorama des applications d’IA dans la banque et des enjeux d’explicabilité associés. L’IA est bien présente dans le secteur financier, mais son développement est contraint par une certaine tension entre la possibilité d’améliorer certains processus, comme la détection des fraudes par exemple, et le besoin de garanties sur le raisonnement logique de l’algorithme. Tous les systèmes d’IA ne sont pas égaux en termes d’explicabilité. On peut établir une distinction claire entre l’IA « boîte noire », performante, qui repose sur des corrélations et l’IA « boite blanche », explicable, grâce à des liens de causalité clairs.
Dans le développement de l’IA, on peut ensuite distinguer deux catégories d’applications de l’intelligence artificielle : celles à moindre risques et celles à haut-risque. Dans la première catégorie, on trouve notamment des systèmes qui fonctionnent en logique boite noire sans exigences explicatives. C’est par exemple tout ce qui tourne autour du service client : la reconnaissance vocale, le routage des appels en temps réel, le NLP pour lire et générer des contrats, la traduction automatique, certains chatbots ou encore l’automatisation de tâches répétitives pour aller chercher des informations alternatives. A contrario, il y a 4 grands cas d’usage à haut risque dans lesquels aucun système d’IA n’est autonome, que ce soit aux États-Unis, ou en Europe : il y a toujours une intervention humaine. Ces applications sont l’évaluation du risque de crédit, la lutte anti-blanchiment d’argent, la détection de fraude et le MiFID (Markets in Financial Instruments Directive), une directive européenne visant à renforcer la protection des investisseurs vis à vis des institutions financières.
Un des principaux défis à relever pour l’explicabilité sera de définir les paramètres pour distinguer les cas d’usage à haut risque et ceux à bas risques. Il faudra également définir des standards minimums d’explicabilité pour les cas à haut-risque, comme la contrainte de réplicabilité ou des contraintes sur les variables utilisées par exemple. Enfin, l’écosystème de l’explicabilité est avant tout collaboratif : ces discussions comme celles de ce webinaire entre régulateurs, académiques, institutions financières et cabinets de conseils sont donc essentielles.
Olivier Fliche s’est ensuite tourné vers Antoine Lissowski en l’interrogeant sur les outils d’intelligence artificielle qui se développent dans le domaine de l’assurance.
Lissowski nous a alors fait part du premier contact de l’assurance avec l’IA, qui a d’abord servi à pister les contrats non réclamés pour cause de décès du bénéficiaire. Ensuite l’IA s’est introduite dans des optiques commerciales pour identifier des clients potentiels. Les outils de reconnaissance vocale et optique ont ensuite suivi, et c’est aujourd’hui sur ces techniques que se repose énormément CNP Assurances pour numériser des messages et des documents et les traiter en flux continu sans passer par des opérateurs physiques. Ces applications-là ne soulèvent pas d’interrogations éthiques.
D’autres sont plus concernées par les problématiques d’explicabilité et de transparence. Ce sont les applications de conseil client et de tarification. Celles-ci impliquent – car la loi le requiert – que les sociétés d’assurance récoltent une grande quantité information sur ses clients, pour pouvoir juger de leur appétence au risque par exemple, afin de leur proposer des prestations qui pourront leur être utiles et qui correspondent à un véritable besoin. Le risque est donc que des techniques d’IA indélicates, reposant sur cette base importante de données personnelles, poussent la segmentation de clients jusqu’à des sélections individuelles. À CNP Assurances, une personne a été désignée spécifiquement pour réfléchir à des façons d’identifier les bais de l’IA et de les éviter.
Lissowski distingue deux types d’enjeux d’explicabilité pour les cas d’usage de l’IA dans l’assurance :
- Donner les explications suffisantes au client pour qu’il sache pourquoi on lui propose tel produit : c’est un processus déjà très rationnalisé en assurance.
- Donner des explications quant au niveau de tarification. C’est plus compliqué car c’est très dépendant de chaque entreprise d’assurance et de son type de portefeuille de client. Cet enjeu n’est pas nouveau mais avec l’arrivée de l’IA, il faut en plus justifier auprès du superviseur que les outils ne présentent pas de biais.
Visionner le replay ci-dessous
______________________________________
Liens pour compléter la lecture :
- Document de réflexion, ACPR, Dupont, Fliche and Yang (2020), Gouvernance des algorithmes d’intelligence artificielle dans le secteur financier, juin 2020
- Beaudouin et al. (2020), Flexible and context-specific AI explainability, arXiv: 2003.07703
- Beaudouin et al. (2020), Identifying the ‘right’ level of explainability, SSRN 3604924
- A.Bertrand, W.Maxwell, X.Vamparys, Do AI-based anti-money laundering (AML) systems violate European fundamental rights?, International Data Privacy Law, ipab010, https://doi.org/10.1093/idpl/ipab010
[1] V. Beaudouin, I. Bloch, D. Bounie, S.Clemençon, F. d’Alché-Buc, J. Eagan, W. Maxwell, P. Mozharovskyi, J. Parekh, ‘Flexible and Context-Specific AI Explainability: A Multidisciplinary Approach’.
[2] NIST Study Shows Face Recognition Experts Perform Better With AI as Partner, https://www.nist.gov/news-events/news/2018/05/nist-study-shows-face-recognition-experts-perform-better-ai-partner