Comme premier intervenant, nous avons eu le plaisir de recevoir Winston Maxwell, directeur des études de droit et numérique à Télécom Paris, Institut Polytechnique de Paris.

D’abord, Winston a mis en évidence le manque de cohérence sur les termes utilisés pour le contrôle humain dans les textes européens. Par exemple, l’IA Act parle d’« human oversight » en anglais contre « contrôle humain » en français, ce que n’est pas exactement la même chose. Le RGPD parle « d’intervention humaine significative ». Ensuite, il a présenté sa taxonomie des différents types de contrôle humain selon deux grandes familles : les contrôles systèmes (de tout l’algorithme) et les contrôles individuels (d’une décision algorithmique, comme un diagnostic médical).

Winston a ensuite souligné trois finalités pour lesquelles on a besoin d’un contrôle humain : détecter les erreurs, garantir une procédure juste et équitable et fixer les responsabilités. Il a cité comme obstacles au contrôle humain efficace le paradoxe de la performance : un algorithme est mis en production si son score prédictif est élevé, or cela peut provoquer des biais d’automatisation et de responsabilité de la part de l’humain en charge du contrôle.

Enfin, Winston a clôturé son intervention sur trois recommandations pour améliorer le contrôle humain à l’avenir : (1) distinguer les finalités des contrôles humains et pour chacun, adopter un contrôle humain adapté à cette finalité ; (2) séparer les tâches pour la machine et pour l’humain et différencier les responsabilités ; (3) tester la performance de l’équipe humain machine pour chaque finalité.

En savoir plus : Le contrôle humain des systèmes algorithmiques – un regard critique sur l’exigence d’un humain dans la boucle, par Winston Maxwell

Nous avons ensuite accueilli Thomas Baudel, Directeur de recherche et master inventeur IBM France R&D Lab.

Nous avons pris le cas concret du filtrage d’alertes à la fraude sur des transactions financières dans lequel il y a un véritable enjeu d’alléger la tâche des humains avec l’apprentissage automatisé. Des questions de différentes natures se posent pour mettre en place une collaboration homme-machine efficace. D’un point de vue organisationnel, la question de la responsabilité est primordiale. Aujourd’hui, 85% des projets de déploiement échouent, notamment à cause de mécanismes de responsabilités flous ou inexistants. Du point de vue législatif, l’IA Act, notamment, met l’accent sur le respect de l’autonomie humaine. Le point de vue technique, quant à lui, permet de déterminer concrètement le niveau d’autonomie qu’on peut accorder à la machine.

Enfin, les sciences économiques et sociales nous renseignent sur la définition de l’autonomie humaine : une personne est autonome lorsqu’elle peut agir de façon informée et non contrainte. Les humains et les machines se complètent dans la mesure où les humains peuvent chercher de l’information externe et peuvent changer les critères de décision. Les algorithmes gèrent mal la flexibilité, les exceptions et la nouveauté tandis que les humains ressentent de la fatigue et ont des biais. Une étude d’IBM montre que, sur certaines tâches, si l’algorithme a une performance inférieure à 70%, il serait contre-productif de l’utiliser. En revanche, au-dessus de 80%, la performance de l’algorithme serait dégradée par l’intervention humaine. La méthode d’IBM de performance en fonction de l’indice de confiance algorithmique permet de justifier des investissements en IA, de justifier de l’utilisation de l’IA auprès de régulateurs, et de valoriser l’humain dans les taches dans lesquelles il reste meilleur.

Le dernier intervenant de la conférence était Astrid Bertrand, doctorante en explicabilité de l’IA à Télécom Paris, Institut Polytechnique de Paris et au pôle Fintech-Innovation de l’ACPR.

Astrid nous a présenté ses travaux menés sur l’explicabilité avec l’ACPR, notamment une étude sur les robo-advisors en assurance-vie. Dans ce contexte, les explications sur les raisons pour lesquelles un certain contrat est proposé pour un certain client sont exigées par la réglementation financière (code des Assurances L.522-5 CdA). Pourtant, les robo-advisors en ligne restent souvent génériques ou évasifs dans ces explications, soit parce qu’il est difficile de générer des explications automatiques en temps réel ou parce que les outils utilisés deviennent de plus en plus complexes, notamment avec l’entrée de l’IA.

Dans l’étude présentée, un robo-advisor « explicable » fictif a été construit, capable de générer des explications automatiques sur les raisons motivant le conseil. En faisant tester ce robo-advisor à 256 participants, l’étude montre que les explications données étaient contre-productives par rapport à l’objectif de la réglementation, qui est de protéger les investisseurs individuels afin de s’assurer qu’ils comprennent et qu’ils sont « habilités » à faire des choix. Les explications ne « responsabilisaient » pas les utilisateurs ; au contraire, elles pouvaient provoquer un excès de confiance envers des propositions inadaptées.