ChatGPT : Les révolutions scientifiques derrière l’IA générative (Science & Vie)

lundi 20 mars 2023

Chloé Clavel, spécialiste des robots conversationnels à Télécom Paris

[…] Comprendre les Transformers

Côté compréhension du langage, la rupture est venue du principe des Transformers, présenté en 2017 par des chercheurs de Google. Dans cette architecture, chaque mot est encodé sous forme d’un ensemble de coordonnées (ou vecteur) dans un espace à plusieurs dimensions. Le programme, entraîné sur d’immenses corpus, établit une proximité spatiale entre tous les mots (vecteurs) possibles. Ainsi, un chat sera statistiquement bien plus proche du mot chien que du mot casserole.

Les Transformers ont permis aux modèles de langue d’intégrer le contexte d’un mot. « Cela permet par exemple de déterminer si le mot « orange » renvoie plutôt au fruit ou à l’entreprise », explique Chloé Clavel, spécialiste des robots conversationnels à Télécom Paris. Pour passer à la génération de texte, les chercheurs ont ensuite entraîné des programmes à prédire les mots les plus susceptibles de compléter des phrases à trou en analysant l’ensemble des mots précédents. […]

[Mais] La plus [grande limite] est l’effet boîte noire : « l’apprentissage profond n’étant pas programmé à partir de règles clairement définies, on ne peut pas expliquer pourquoi le programme sort tel ou tel résultat », explique François Yvon [CNRS/Université Paris-Sud, ancien enseignant-chercheur à Télécom Paris]. Ainsi, ChatGPT est incapable de citer les sources de ses réponses. Réponses qui, second défaut de taille, s’avèrent souvent fausses ! « Il faut bien comprendre que ChatGPT est entraîné pour générer des discours réalistes en apparence, mais n’est relié à aucune base de connaissance », éclaire Chloé Clavel. Impossible donc de s’y fier aveuglément : « l’IA ne remplace pas l’expert », conclut François Yvon. […]