Télécom Paris Ideas
IA génératives : craintes réelles ou supposées ?

IA génératives : craintes réelles ou supposées ?

Nicolas Rollet, maître de conférences à Télécom Paris, département Sciences économiques et sociales, en délégation à l’Inria Paris, équipe Almanach, avril 2025

Nicolas Rollet

Nicolas Rollet répond à nos questions autour des craintes, légitimes ou fantasmées, que l’irruption des IA génératives suscite. Ce sujet n’est pas directement lié à ses recherches, il s’agit donc d’une discussion à « bâtons rompus ».

Ces craintes sont énoncées par certains des dirigeants de start-up de l’intelligence artificielle eux-mêmes, comme Dario Amodei, CEO d’Anthropic, qui anticipe une transformation sociétale majeure d’ici 2027, où l’IA surpasserait la quasi-totalité des humains. Et Sam Bowman, professeur à la NYU responsable de la recherche chez Anthropic, qui admet que les modèles d’IA générative, bien que construits et entraînés par l’humain, restent mystérieux dans leur fonctionnement.

Propos recueillis par Isabelle Mauriac

Enthousiasme vigilant

Cette incertitude rappelle la célèbre maxime : « Je sais que je ne sais rien. » On a un peu l’impression que les meilleurs chercheurs en intelligence artificielle aujourd’hui sont comme Socrate : « tout ce que je sais, c’est que je ne sais pas ». Alors pourquoi autant de craintes autour de l’IA ? Sont-ce des fantasmes ou sont-elles fondées ?

Il faut remettre les choses en perspective… L’IA, qui fit l’objet de premières conférences au sortir de la seconde guerre mondiale, suscite aujourd’hui des polarisations extrêmes : d’un côté, un enthousiasme béat pour le progrès technologique, de l’autre, une angoisse face à ses implications, une sorte de « panique morale ». La crainte principale repose sans doute sur la projection d’une singularité et d’une certaine inexplicabilité de l’action, de la prise de décision.

Pourtant l’IA n’est pas une entité monolithique, mais elle est impliquée dans un ensemble de méthodes et d’applications diverses. Par exemple, pendant que ChatGPT peut être critiqué pour faciliter la triche scolaire, l’IA montre un potentiel prometteur dans le domaine médical, comme la détection précoce de tumeurs, plus généralement l’assistance au diagnostic. Les outils d’IA servent ici à améliorer les pratiques des médecins, sans leur enlever leur expertise, mais au contraire en la complétant. Je pense aussi à la création sonore, au traitement de l’image, à l’astronomie, au jeu vidéo, pourquoi pas.

De la même manière que cela est possible avec d’autres technologies, il faut me semble-t-il accueillir cette technologie avec une forme de circonspection mais qui ne vaut pas condamnation, appelons cela un enthousiasme vigilant.

Les applications et la vitesse des progrès de l’IA en santé sont impressionnantes. Mais, si l’IA porte en elle de nombreux progrès, n’est-ce pas de l’humain qui la crée et l’utilise que nous devons nous méfier ?

Oui, le problème n’est pas l’outil mais celui qui l’utilise, comme un marteau sert à bricoler mais peut aussi tuer… L’IA, comme tout outil, dépend de son utilisateur. Elle peut être utilisée pour des applications vertueuses, comme la détection de propos sexistes agressifs, ou bien de pistes terroristes dans les fils de discussion (comme Reddit). L’IA est utilisée pour détecter d’immenses quantités de données et produire des alertes, qui seront ensuite régulées par des humains qui vont évaluer les retours de l’IA. Un dernier exemple qui me tient à cœur, car c’est un des sujets sur lesquels je travaille, sont les IA parlantes, et en l’occurrence l’aide de robots équipés de modules parlants dans les cas de thérapie avec des enfants autistes. Dans ce cas aussi, il n’est pas question de remplacer le thérapeute, mais de lui offrir la possibilité de construire des relations triangulaires qui permettent à l’enfant autiste qui ne s’adresse pas à un adulte mais à une sorte de pair à sa hauteur, de produire plus facilement du langage.

Cependant, la responsabilité humaine reste cruciale. La différence fondamentale réside dans la responsabilité et l’intelligibilité morale des actes humains, une dimension que l’IA ne possède pas.

 

Apprentissage et supervision

Vous êtes engagé dans la recherche sur les IA parlantes, justement pour son potentiel dans l’éducation et dans la santé, mais ce que vous faites aujourd’hui à Télécom Paris, c’est plutôt de la recherche fondamentale ?

En apprentissage machine, sur ce qu’on appelle les LLM (grands modèles de langage), on avance par modules spécifiques capables de détecter des phénomènes particuliers dans la parole. C’est d’ailleurs là une grande particularité par rapport à l’humain, qui n’apprend pas par modalité sémiotique, disons c’est tout le corps qui apprend « en même temps ». Nous travaillons sur l’apprentissage automatique, où l’IA est instruite à partir de données annotées par des humains. L’objectif est de permettre à l’IA de reconnaître des phénomènes spécifiques dans des conversations, en s’appuyant sur des milliers d’exemples. L’apprentissage ce sera de donner à l’IA une transcription d’une conversation, de lui dire « à cet endroit, cette chose s’appelle par exemple une réparation » et puis lui expliquer pourquoi, selon différents critères, acoustiques, lexicaux… Enfin de lui donner 2000, 3000 ou 4000 occurrences similaires de ce phénomène-là en lui disant « c’est la même chose, mais c’est accompli de manière différente ». Le but du jeu est qu’à la trois mille unième occurrence, le modèle d’IA soit capable de dire si c’est la même chose ou non. Dans les contrats qu’on peut obtenir (Agence Nationale de la Recherche par exemple), il y a une dimension de recherche fondamentale, mais aussi de recherche appliquée, c’est le cas avec les thèses Cifre, qui impliquent un partenaire privé.

Pour ma part, je travaille sur des modèles supervisés, c’est à dire qu’il y a un intermédiaire humain qui va partir des données, qui va les annoter une première fois et qui va ensuite instruire l’IA, et en cas d’erreur va vérifier pourquoi elle s’est trompée.

Il existe, si je comprends, bien différents niveaux d’annotation. Ici vous ne parlez pas des annotations des travailleurs du clic dont parle Antonio Casilli ?

Oui, il existe différents niveaux d’annotation. Antonio Casilli parle des annotations basiques réalisées par des travailleurs payés au lance-pierre pour des tâches répétitives, comme reconnaître des images, c’est-à-dire confirmer les choix de l’IA par exemple. En revanche, dans les recherches auxquelles je contribue, nous utilisons des annotations plus complexes, où des conversations sont transcrites et labellisées pour entraîner l’IA à reconnaître des phénomènes spécifiques. Dans ce cas , cela implique plus généralement des contrats qualifiés pour des étudiants en Master ou des ingénieurs d’étude.

Et à l’autre bout du spectre, avec les réseaux neuronaux maintenant, la machine est libre de trouver par elle-même ; c’est un travail en aval pour essayer de comprendre comment la machine a raisonné.

 

Problématique de la délégation

Où en sommes-nous aujourd’hui ? Les performances des IA génératives sont-elles proches d’égaler, voire de surpasser les humains, ou au contraire en sont-elles très loin ? Pour certains chercheurs que j’ai interrogés, les agents conversationnels et les robots sont encore très loin de se comporter comme des humains ; par exemple, ils ne savent pas interpréter les silences…

Cela renvoie à la question de ce qu’est l’intelligence : l’IA sait interpréter, si on considère l’interprétation comme étant un calcul orienté vers quelque chose, elle saura traiter un silence, mais avec moins de précision qu’un humain en termes de diversité d’actions que ce silence contribue à opérer dans une conversation. Nous avons, d’un point de vue langagier, une bien plus grande plasticité.

Et l’autre chose qui différencie sans doute encore l’IA des humains, c’est que ceux-ci possèdent, et sont en capacité de revendiquer une responsabilité morale de leurs actes, une dimension que l’IA ne possède pas.

Les agents conversationnels ne produisent pas d’intelligibilité, c’est l’humain qui, en interagissant avec un agent conversationnel, va traiter une conduite comme relevant ou non d’une certaine intelligibilité. Enfin, les agents conversationnels sont très pauvres quand il s’agit de mobiliser le contexte, la situation d’énonciation pour produire une conduite langagière adéquate, tandis que nous le faisons en permanence, sans même que cela nous vienne consciemment à l’esprit. Si une IA peut traiter automatiquement plus de données qu’un humain, produire un résumé relativement satisfaisant (avec les bons prompts) en quelques secondes, les agents conversationnels restent de parfaits idiots interactionnels, au sens littéral : qui n’est pas connaisseur. Par ailleurs, limiter l’intelligence à une puissance de calcul, c’est un peu comme se contenter du cogito cartésien, cela ne sature pas pour moi la complexité humaine. Donc de quelle rivalité parle-t-on ? Les réseaux dits « sociaux », cette ivresse du commentaire et du pouce levé ne rivalise-t-elle pas déjà avec la nécessité de la relation interpersonnelle à portée de main ?

Oui, mais nous sommes aimantés par ces capacités technologiques qui progressent tellement vite et nous rendent tellement de services… c’est compliqué de résister tant l’IA nous rend sur-puissants. N’allons-nous pas lui déléguer trop de choses ?

Oui, il y a une attraction, peut-être en raison d’une « gamification » de la vie sociale, l’idée que parce que c’est ludique c’est forcément plus efficace (voyez Duolingo) que si c’était dans l’effort et dans la douleur (allez dire cela à n’importe quel musicien ou sportif de haut niveau !). C’est très contemporain : on donne des bonbons aux enfants à l‘école primaire, où la bonne conduite n’est pas une condition mais parfois un objectif. Il y a cette double attractivité pour la technologie et pour le divertissement. Il faudrait évaluer l’adverbe « trop » dans votre question, en séparant les types de quantités, je veux dire : j’aurai besoin d’une calculatrice, mais j’apprends tout de même à compter.

La problématique de la délégation, de son degré, semble bien traverser l’histoire de la relation humain-machine.

Une attractivité pour le moindre effort aussi ?

Cette idée de refuser l’effort se discute au-delà de la technologie, c’est plutôt en lien avec la division moderne du travail ou le rapport à l’affiliation (famille, corps intermédiaires), affectant le rapport à la collectivité des membres d’une société et renvoyant à une accentuation de l’individualisme, comme le décrivit d’ailleurs Durkheim à la fin du XIXe siècle. L’individu contemporain se voit créer des besoins qui le conduisent à un curieux raisonnement : « je veux » donc « je peux » donc « j’ai droit ». Et là, on peut déployer beaucoup d’efforts pour satisfaire ce droit ! Mais il faudrait regarder de près comment cela se manifeste concrètement dans les pratiques sociales, ne pas se contenter d’une glose.

Mais encore une fois, l’IA reste un outil, et il faut vraiment parvenir à différencier les types d’IA et se concentrer sur l’usage.

Plus on est concentré sur l’usage, plus on peut en dénoncer les travers de manière juste et efficace. D’ailleurs c’est ce qu’a fait le CNRS qui a produit des recommandations en 2024 sur le développement des IA, en particulier les IA parlantes. C’est une réflexion sur l’éthique de l’IA, qui est en interaction avec des individus. Ces documents produits par des chercheurs peuvent éclairer des législateurs.

Oui mais justement sur ces questions d’éthique, dans les faits on voit bien que l’Europe peine à s’affirmer et à mettre en œuvre l’IA Act, face aux Gafams…

On sait pourtant réguler des technologies : une voiture peut atteindre potentiellement 300 km/h et on sait réguler le trafic routier ; cette régulation repose a priori sur un rapport bénéfice-risque. Maintenant ce dont vous parlez engage la question de l’IA dans un marché mondial et conflictuel de l’usage, et donc de la régulation.

Pour poursuivre sur votre exemple, a-t-on attendu d’avoir des milliers de morts pour réguler la vitesse ? Ou dès le départ nous sommes-nous dit : « n’attendons pas le crash pour commencer à prendre des mesures de régulation » ?

J’ai l’impression que c’est quand on constate que le risque est plus grand que le bénéfice dans l’usage d’une technologie que l’on prend des décisions. Je me demande s’il existe dans l’histoire des technologies qui auraient été d’emblée régulées, sauf concernant les médicaments !

C’est un tâtonnement : une technologie émerge et c’est l’usage qui va entraîner sa régulation.

Il me semble que la question éthique émerge une fois que des premiers usages sont éprouvés. Le glissement de la voiture autonome à semi-autonome est de ce point de vue intéressant.

Une forme de « servitude volontaire »

Dario Amodei, CEO d’Anthropic, lors du sommet de l’IA à Paris, a parlé de l’arrivée des IA générales dans quelques années, voire quelques mois comme une étape décisive dans la prise de pouvoir des IA et leur domination de l’humain. Faut-il commencer à s’en inquiéter ?

Si j’en crois mes collègues chercheurs en informatique, on peine parfois à comprendre comment un réseau neuronal obtient certains résultats, prend telle ou telle décision. L’explicabilité de l’IA est aujourd’hui un champ de recherche en soi.

C’est peut-être ce qui différencie l’IA d’autres types de technologies, en tous cas celles qui l’ont précédée : l’explicabilité de cette technologie-là n’est pas évidente.

Pour revenir à nos usages actuels, n’avez-vous pas peur que le recours aux IA génératives telles que ChatGPT ne devienne un automatisme, y compris pour nos enfants, se substituant d’une certaine façon à leur propre apprentissage ?

Bien sûr, c’est une question qui circule beaucoup au niveau des enseignants-chercheurs à Télécom Paris. Quand les élèves ont commencé à l’utiliser pour faire leurs devoirs, nous nous sommes vite rendu compte qu’il n’est pas possible de l’interdire mais nous avons travaillé à des évaluations où ChatGPT ne pouvait pas être utilisé. Par exemple, si je donne un extrait de transcription à des élèves et que je leur demande de faire de l’analyse, ChatGPT ne marchera pas. Typiquement ce qui peut être demandé à un élève est : « vous pouvez utiliser ChatGPT pour faire un résumé de deux articles mais il faut que dans la manière dont le résumé est produit, il y ait les choses telles que je les ai formulées en cours », par exemple. Dans une vision optimiste, on peut aller jusqu’à dire que, d’une certaine façon, ChatGPT dynamise les techniques pédagogiques et donne une occasion de renouveler nos manières d’évaluer.

On peut accepter l’utilisation de ChatGPT par nos élèves, à condition d’avoir des sujets suffisamment complexes pour que l’élève soit de toute façon obligé de l’utiliser comme une calculatrice, c’est-à-dire comme…

… un outil qui lui permet d’aller plus vite dans certaines tâches, mais qui ne l’exonèrera pas d’organiser, de réécrire, d’articuler.

Donc il fera un intéressant travail de lecture de ce qu’aura produit l’IA générative. Celle-ci produit du contenu d’information mais en réalité, la réflexion, l’organisation par rapport au contexte ou à la situation dans laquelle le texte doit être produit reste à la charge de l’élève. Le rapport à l’écriture est intéressant, loin d’être déprimant.

Mais en intervenant après la génération du texte par l’IA, ne devenons-nous pas nous-mêmes des assistants de l’IA et du même coup, ne perdons-nous pas un peu de libre arbitre, de notre créativité, de notre initiative ?

C’est la même chose pour la création au sens large, pas seulement la création d’un texte pour un devoir… Des IA peuvent produire des œuvres musicales, elles peuvent produire des images. Qu’est-ce que cela entraîne pour l’humain, pas seulement de se dire « je peux être remplacé par une IA qui va composer une musique pour moi », ça peut être aussi de se dire « la musique que je compose, je la compose moi, humain, et je la joue en public ».

Il pourrait presque y avoir un effet bénéfique puisque cela pourrait redéfinir l’authenticité humaine, en mettant en avant la performance live et la création artistique personnelle.

Je pense aussi au théâtre évidemment. Isabelle Garron, maîtresse de conférences à Télécom Paris, parle souvent d’Intelligence Humaine dans ses réflexions, justement sur le rapport possible entre pratiques artificielles et pratiques humaines. Les artistes (poètes, plasticiens) se sont depuis longtemps emparés de cette question. Quant au libre arbitre, on n’a pas attendu l’IA pour se constituer des assistants du bon goût, des « structures structurantes », c’est plus ou moins subliminal. Il faudrait se demander s’il y a une particularité en termes de champs : ça sert qui ou quoi, ça reproduit quoi, etc.

En reprenant l’exemple de Spotify, les algorithmes vont nous orienter, nous guider et finalement nous cloisonner parce que seulement basés sur nos goûts antérieurs, niant ainsi notre faculté de trouver par nous-mêmes… voire de nous perdre, de nous aventurer aussi vers l’inconnu…

C’est sûr que la sérendipité en prend un coup… C’est aussi l’idée des rayonnages de supermarché, mais à une échelle plus intrusive, il est vrai ! En même temps, les pratiques du public peuvent évoluer. Dans l’alimentation par exemple, nombreux sont ceux qui se tournent aujourd’hui vers des circuits courts comme alternative aux supermarchés. Il y a toujours un contre-coup au constat de l’effet pervers de la technologie, ou du bas prix des supermarchés. Le problème est que nous réagissons souvent au pied du mur et que l’accès aux détails des arguments pour faire tel ou tel choix est toujours inéquitable.

Avec les IA génératives, il y a un effet de sidération, de vitesse, leurs progrès technologiques sont tellement galopants…

Oui, d’ailleurs en sciences sociales, il est difficile de publier à propos de ChatGPT par exemple. Le temps que l’article soit écrit et publié, ce sera déjà à la version 6 ou 7 ! Ceci dit, la série Battlestar Galactica est sortie il y a plus de vingt ans mais les Cylons sont encore de la science fiction !

Vous parlez de vitesse. N’est-ce pas le problème et ne devrions-nous pas prendre le temps de réfléchir à nos usages plutôt que de nous précipiter, de peur de passer à côté d’une innovation, d’un facteur de productivité ?

C’est beaucoup une question d’éducation à l’usage. L’outil certes évolue vite mais en revanche, sur les manières d’utiliser ces outils-là, on n’est pas obligé d’aller à une telle vitesse ; on peut prendre le temps de réfléchir et de chercher un consensus sur la façon de les utiliser.

Et vraiment, je le répète, il est nécessaire de bien différencier les IA. Il y a celles qui sont des outils d’assistance, de support pour des métiers bien spécifiques. Ces IA n’interagissent pas avec les humains, ce sont simplement des outils qui vont détecter des paramètres comme un faisceau conduisant à certains diagnostics, ou calculer l’évolution d’un paramètre. Et il y a les IA qui sont plus intrusives, celles qui vont soit faire des suggestions sans le dire, ou les IA parlantes… c’est un autre type de relation qu’entretient l’humain avec cette technologie-là.

Pour résumer, l’IA ne représente pas en soi de danger, celui-ci vient vraiment de certains types d’usages. Le danger serait en effet une forme de « servitude volontaire ».

L’atrophie de l’individu s’ajoute à d’autres difficultés comme celle de la baisse du niveau scolaire ainsi que de la lecture ; si le problème n’est pas lié initialement à l’IA, celle-ci ne fait que l’amplifier. De plus, si nous lisons moins voire ne lisons plus, nous ne pourrons pas avoir un regard critique sur ce qu’écrit l’IA ?

Effectivement, elle arrive à un moment où il est plus commode d’utiliser des outils qui vont nous produire quelque chose rapidement. En même temps…

… quand je regarde nos élèves, je reste optimiste : beaucoup sont concernés au premier chef par des choses proprement humaines… l’intelligence relationnelle, les ateliers d’écriture, la poésie, l’écriture. Ils s’intéressent à la production artistique, créent de l’image, du son, collaborent avec leurs camarades pour produire des choses complètement déconnectées de la question technologique, qui leur sont propres.

Le fait qu’ils étudient l’IA ne les a pas fait plonger dans sa sur-consommation, enfin il me semble qu’ils font la part des choses. Évidemment je vois cela sous un prisme un peu élitiste. Le problème se ressent bien sûr lorsque la délégation de sa capacité d’action, de sa capacité créative est subie.

Ce n’est peut-être pas aussi incongru qu’il y ait tous ces tropismes de la bienveillance, de prévention du harcèlement, parfois à l’excès pourquoi pas. Ce n’est peut-être pas un hasard que ce soit apparu de manière contemporaine avec cette vague technologique, dont on pourrait penser qu’elle nous conduit un peu plus à vivre chacun devant son téléphone, à nous interdire par ailleurs de nous égarer, de flâner, de bricoler.

 

Nicolas Rollet, maître de conférences à Télécom Paris, département Sciences économiques et sociales, en délégation à l’Inria Paris, équipe Almanach, avril 2025

Télécom Paris Ideas