Dès sa sortie fin novembre 2022, ChatGPT, l’agent conversationnel développé par Open AI, a suscité un engouement très important auprès du grand public. D’autres entreprises et chercheurs en ont profité pour dévoiler leurs propres modèles de langage, comme « Bard » de Google, ou « Llama » de Meta. « L’IA générative », qui englobe ces modèles de génération de texte ainsi que les générateurs d’images ou d’autre contenu, a suscité une vague de réactions dans les grandes entreprises de la tech. Par exemple, Google a initié un « Code rouge » et Microsoft a investi massivement dans l’entreprise Open AI, en réclamant par ailleurs la création d’une autorité de régulation autour de l’IA.

GPT-4, le modèle derrière ChatGPT, nous montre déjà aujourd’hui des résultats très impressionnants par exemple dans les examens du barreau ou de médecine américains. Parmi ses forces, on peut souligner ses capacités de rédaction, de synthèse et de programmation informatique. Parmi ses faiblesses : son rapport douteux à la vérité, c’est-à-dire les « hallucinations » qu’il peut générer, ou son manque de capacité à planifier des actions.

Le fonctionnement de ChatGPT repose sur trois grands blocs : (1) une architecture de réseau de neurones qui se base sur la notion de « Transformers », qui s’appelle « Generative Pre-trained transformers (GPT)» dans le cas de ChatGPT, (2) une étape de « Supervised Fined Tuning » pendant laquelle des exemples de questions-réponses générés manuellement sont utilisés pour modifier le modèle, (3) une étape de « Reinforcement Learning via Human Feedback » (RLHF) pendant laquelle des humains choisissent la réponse la plus appropriée parmi plusieurs réponses données par le modèle, pour beaucoup d’exemples différents, ce apprend au modèle à donner des réponses utiles et appropriées.

Aujourd’hui, beaucoup de questions techniques sont encore ouvertes, par exemple : Qu’apporte le RLHF ? Comment et pourquoi ces modèles marchent aussi bien ? Marchent-ils suffisamment bien pour des applications réelles ? Comment les auditer et les évaluer ? On sait que ces modèles ont des limites (manque de compréhension réelle…) mais sont-elles intrinsèques à ce type de modèle ? D’autres débats portent sur la souveraineté des grosses entreprises versus la source ouverte, sur la protection des données utilisées pour l’entraînement, sur les biais présents dans ces données qui sont essentiellement américaines ou anglophones, et bien d’autres sujets.

En savoir plus :

• Jules Pondard, Expert IA au Pôle Fintech Innovation, ACPR, Introduction à ChatGPT et ses enjeux
• « Attention is all you need » : le transformer expliqué par son créateur

En mai 2019, l’OCDE[1] a proposé des principes pour l’IA qui représentent un ensemble de 10 priorités sur les politiques et les réglementations en matière d’IA, ainsi que la première norme internationale sur l’IA. En juin 2020, le G20 s’est engagé à utiliser ces principes, étendant considérablement leur portée géographique. Les 5 premiers principes sont des valeurs que les systèmes d’IA doivent refléter, par exemple protéger les droits de l’homme, l’équité et les valeurs démocratiques, ou instaurer une responsabilité des acteurs. Les 5 principes suivants sont des recommandations visant à favoriser un écosystème de l’IA qui puisse prospérer et profiter aux sociétés en matière de R&D et de politiques d’éducation notamment.

Depuis fin novembre 2022, l’IA générative est partout dans les discussions des décideurs politiques de haut-niveau. Le 20 mai dernier, les dirigeants du G7 ont établi le processus « Hiroshima » pour l’IA générative qui souligne leurs priorités sur l’IA. La déclaration du G7 met notamment l’accent sur certains des principes de l’OCDE pour l’IA. Elle souligne par exemple le besoin d’avancer les réflexions et la recherche sur les problèmes liés à la désinformation, au manque d’explicabilité, à la sécurité des modèles ou bien sur les questions de propriété intellectuelle (alors que beaucoup de procès commencent aux États-Unis sur ce dernier sujet). Par ailleurs, un large éventail d’approches réglementaires nationales sont en cours d’élaboration, en passant de la législation non contraignante (Etats-Unis, EU, Japon et UK), aux normes et cadres de risques comme NIST, aux Etats-Unis, à l’utilisation de régulations et de régulateurs existants (Etats-Unis, UK, EU), et à la réglementation spécifique à l’IA (EU, Canada).

L’OCDE a mis en place plusieurs initiatives sur l’IA générative, comme un suivi de l’évolution des investissements, recherches, emplois et formations liés à l’IA (oecd.ai/trends-and-data) ; un catalogue d’outils d’évaluation des risques de l’IA et de gouvernance de l’IA (oecd.ai/tools) ; la création d’un groupe de travail de gouvernance anticipative ; des expérimentations réglementaires (« sandboxes ») ; et une surveillance des incidents liés à l’IA en temps réel pour empêcher les dommages liés à l’IA de se reproduire.

En savoir plus :

• Karine Perset, Directrice de l’unité IA et de OECD.AI, OCDE, Generative AI and language models: opportunities, challenges and policy implications
• oecd.ai/fr/ : L’Observatoire OCDE des politiques de l’IA
• oecd.ai/fr/classification : Donne un cadre conceptuel et ensemble de métriques simples pour déterminer les propriétés clés d’un système d’IA concernant les données qu’il utilise, le modèle lui-même, ses sorties et son contexte économique.

[1] L’OCDE est une organisation intergouvernementale composée de 38 pays membres qui aide à l’établissement de consensus pour tous les domaines d’action politique hormis la défense. L’OCDE permet notamment de promouvoir une coopération internationale sur des sujets interdisciplinaires, un enjeu majeur pour l’IA générative qui nécessite des discussions sur l’état de l’art technique, mais aussi sur les emplois, l’éducation, la sécurité, l’énergie…

Le 31 mars 2023, la Garante (l’Autorité de protection des données italienne) passe une mesure d’urgence visant à interdire ChatGPT en Italie. Cette décision repose sur plusieurs facteurs dont le manque d’information données aux utilisateurs dont les données ont servi à l’entrainement du modèle, le caractère inexact de certaines données, ou encore l’absence de vérification d’âge. Ayant répondu à certaines des exigences requises par la Garante, ChatGPT a été rétabli fin avril en Italie, cependant un ensemble de questions demeurent.

D’abord, quel est l’encadrement du traitement des données personnelles dans les bases de données constituées pour l’apprentissage du modèle (on parle de 570Gb de texte de qualité diverse pour ChatGPT-4) ? Ensuite, est-il possible de récupérer les données personnelles utilisées à l’entraînement à partir du modèle lui-même, par exemple via les mécanismes d’inversion (on recrée une version approximative d’une donnée d’entrainement), d’inférence (on infère l’appartenance d’une personne à un groupe de données) ou de mémorisation (on fait ressortir une donnée personnelle mémorisée par le modèle). Finalement, depuis l’interface utilisateur, comment exercer son droit d’accès, de rectification ou d’effacement aux informations transmises, ou bien comprendre comment les données sont traitées ?

Pour avancer sur ces questions, Félicien Vallet propose une analogie avec l’émergence du droit à l’oubli dans le cadre des moteurs de recherche apparus dans les années 2000. Ce droit à l’oubli consiste à effacer un contenu des résultats d’un moteur de recherche, quand bien même ce contenu serait encore présent sur le web. Une logique similaire pourrait être envisagée avec les LLMs : effacer un contenu des résultats d’un modèle via des mécanismes de filtrage sans avoir à ré-entraîner le modèle.

À ce jour, la CNIL a reçu 5 plaintes concernant la protection des données personnelles dans le cadre de ChatGPT, qui font l’objet de procédures en cours. La CNIL a également publié un dossier sur l’IA générative, visant à encadrer le développement français et européen de l’IA générative dans le respect de la vie privée, ainsi qu’un plan d’action. Au niveau européen, la Task Force de l’EDPB sur ChatGPT et les LLMs progresse sur ces questions.

En savoir plus :

• Félicien Vallet, Chef du Service de l’Expertise Technologique, CNIL, IA génératives : Quels enjeux pour la régulation des données personnelles ?
• Mesure prise par la Garante sur ChatGPT (en italien)
• EU Commission issues internal guidelines on ChatGPT, generative AI
• Plan d’action CNIL sur l’IA générative
• Dossier CNIL sur l’IA générative

Le traitement automatique des langues (NLP) connaît depuis une dizaine d’année un changement de paradigme. Pendant longtemps il était compliqué pour les machines de comprendre la nature ambigüe (à la fois syntaxique, contextuelle, lexicale, etc.) du langage humain. Mais depuis 2012 environ, des techniques comme Word2Vec ont permis aux modèles de langage de comprendre les mots dans leur contexte et ainsi de développer une connaissance du langage et du monde. C’est ce qu’on appelle l’hypothèse dispositionnelle : « on reconnaît un mot à ses compagnons » (Firth, 1957).

Les travaux de Léo Laugier se concentrent sur l’utilisation de ces modèles de langage pour améliorer nos interactions en ligne.

Un premier exemple est la modération des messages publiés en ligne. Dans ce domaine, une des difficultés est de détecter certains mots insultants, impolis ou « toxiques » dans des posts très longs, pour lesquels le score de toxicité pourrait être légèrement en dessous du seuil au-delà duquel les posts sont supprimés ou analysés. On appelle cette tâche la détection de la « portée toxique » (Toxic Span). Les travaux de Léo ont porté sur l’utilisation de l’apprentissage faiblement supervisé pour résoudre cette tâche.

Un autre exemple est la reformulation du langage offensant, avec pour but d’inciter à des conversations plus apaisées et constructives. L’idée à la base de la méthode de reformulation est celle d’une traduction, où la machine apprend le transfert d’une langue vers l’autre, ici d’une formulation toxique à civique. Cependant, il existe des risques d’hallucination (le modèle produit du faux contenu), de supererogation (le modèle rajoute quelque chose) ou de renversement de position (le modèle donne un sens inverse à la phrase initiale).

Léo étudie actuellement la polarisation en ligne à l’EPFL, l’objectif étant de protéger la démocratie de la menace de la radicalisation en ligne et de la polarisation, sans pour autant porter atteinte au pluralisme.

En savoir plus :

• Léo Laugier, post-doctorant, EPF Lausanne, Les modèles de fondation : des solutions pour améliorer nos interactions en ligne ?
• perspectiveapi.com : 1,8M de commentaires annotés en toxicité par des humains
• SemEval-2021 task 5: Toxic spans detection Pavlopoulos et al., 2021
• Civil rephrases of toxic texts with self-supervised transformers Laugier et al., 2021
• www.kaggle.com/code/arunmohan003/question-answering-using-bert