Le chatbot Eliza a brisé une vie : il est temps d'agir face à l’IA manipulatrice

Auteurs : Nathalie Smuha, juriste et philosophe, KU Leuven, Mieke De Ketelaere, ingénieur, Vlerick Business School, Mark Coeckelbergh, philosophe, Université de Vienne, Pierre Dewitte, juriste, KU Leuven et Yves Poullet, juriste, Université de Namur (voir la liste des cosignataires ci-dessous)

Les chatbots et autres applications destinées à répliquer les comportements humains au travers de l’Intelligence Artificielle (IA) occupent une place de plus en plus importante dans nos vies. L’arrivée de ChatGPT a fait grand bruit auprès du grand public, malgré le fait que cette technologie soit en développement depuis plusieurs décennies. Si les opportunités offertes par ces applications sont fascinantes, rappelons cependant que tout ce qui est possible n’est pas toujours souhaitable.

Compte tenu des implications éthiques, juridiques et sociales de l’IA, la question de sa désirabilité – en particulier de sa forme, de sa fonction, de ses capacités, de ses exigences techniques et de ses garanties – est de plus en plus pressante. Il a déjà été démontré, par exemple, que les chatbots, comme d’autres systèmes basés sur l’IA, souffrent de biais capables de générer ou d’accentuer certaines formes de discriminations. Ils sont également susceptibles d’“halluciner”, d’affirmer des “vérités” sans fondements factuels, de tenir des propos haineux ou encore de propager des informations erronées. Leur fonctionnement opaque et leur évolution imprévisible ajoutent à ces dangers.

Le suicide récent, en Belgique, d’un homme suite aux incitations d’un chatbot cristallise des craintes restées jusqu’ici théoriques, et met en lumière un risque bien présent : celui de la manipulation. Ce drame illustre l’une des conséquences les plus extrêmes de ce risque, mais cette manipulation émotionnelle peut également se manifester sous des formes plus subtiles. Dès lors que les personnes ont le sentiment d’interagir avec une entité subjective, elles entretiennent avec ce “partenaire”, parfois inconsciemment, un lien qui les expose à ce risque et peut éroder leur autonomie. Il ne s’agit donc pas d’un incident isolé. D’autres utilisateurs de chatbot ont en effet décrit ses effets manipulateurs.

Manque de compréhension, néanmoins trompeuse

Les entreprises qui fournissent de tels systèmes n’hésitent pas à se retrancher derrière le fait qu’elles ignorent elles-mêmes les textes exacts générés par leurs systèmes, et préfèrent mettre en avant les nombreux avantages associés à l’utilisation de tels systèmes. Elles considèrent ces soucis comme des anomalies ponctuelles inévitablement amenées à disparaître avec l’évolution de la technologie. Des erreurs de jeunesse, en somme.

Suite à l’enquête d’un journaliste américain le mois dernier concernant le Bing AI Bot de Microsoft, dont l’utilisation a généré des textes similaires à ceux de la victime belge (à savoir, des déclarations d’amour et des exhortations à quitter sa femme), Microsoft a pris des mesures fortes destinées à limiter le nombre de chats que l’on peut échanger à la fois. Mais des bots similaires existent sur de nombreux sites web sans aucune restriction, et Microsoft s’est d’ores et déjà attelé à lever progressivement les limitations qu’elle avait elle-même imposées. De plus, de nombreux sites Web ont comme but précis la mise à disposition de chatbots dotés d’une “personnalité”, ce qui augmente encore le risque de manipulation émotionnelle.

Bien que la plupart des utilisateurs soient conscients que le bot avec lequel ils discutent n’est pas une personne douée de conscience, mais un algorithme capable de prédire la combinaison de mots la plus plausible sur la base d’une analyse poussée de données, il est toutefois dans notre nature de réagir de manière émotionnelle lorsque nous sommes confrontés à des situations impliquant des entités dont les caractéristiques évoquent un comportement humain. Exiger des entreprises qu’elles indiquent clairement la nature “artificielle” du chatbot n’est donc pas suffisant.

Tout le monde est vulnérable

Certaines personnes, en raison de leur âge ou de leur état mental, sont plus sensibles que d’autres aux effets associés à ces systèmes réalistes et aux risques de manipulation qui les accompagnent. Nous inquiète tout particulièrement, le fait que des enfants puissent interagir sans effort avec des chatbots qui, d’abord, gagnent leur confiance, pour, ensuite, proférer des propos haineux, conspirationnistes ou pornographiques, voire même les inciter à se suicider.

Les personnes isolées qui ne disposent pas d’un réseau social solide, ou les plus déprimées, sont également à risque. C’est précisément cette catégorie de personnes qui, selon les créateurs de chatbots, est la plus à même de bénéficier de ces systèmes. La “pandémie de solitude” et la nécessité non rencontrée d’une aide psychologique ne font que renforcer le problème. Au-delà, ajoutons que tout le monde peut être sensible aux effets de ces systèmes réalistes. En effet, la réponse émotionnelle que ces derniers déclenchent se produit sans que nous en ayons réellement conscience.

À l’affirmation souvent entendue : “même les humains peuvent générer des textes problématiques, alors quel est vraiment le problème”, on répondra que systèmes d’IA fonctionnent à une échelle beaucoup plus grande et que, dès lors, les dommages qu’ils peuvent causer sont plus importants. Si, dans l’incident belge, c’était un humain qui avait interagi avec la personne, nous qualifierions certainement cela d’incitation au suicide ou d’omission coupable – deux infractions pénales passibles d’une peine d’emprisonnement.

Le progrès à tout prix – pour le reste, on verra plus tard

Comment se fait-il alors que ces systèmes d’IA soient librement accessibles ? Le recours à la réglementation est souvent critiqué dans ce contexte, car celle-ci “ne devrait pas entraver l’innovation”. La devise de la Silicon Valley move fast and break things – l’incarnation de l’innovation rapide, expérimentale et perturbatrice – reflète l’idée que nous devrions principalement laisser les inventeurs de l’IA faire leur travail, car nous n’avons encore aucune idée des avantages fantastiques que la technologie pourrait nous offrir.

Le problème, cependant, c’est que cette technologie est littéralement capable de “briser” – en ce compris des vies humaines. Cela nécessite une approche plus responsable et de balancer les principes de précaution et d’innovation. Comparons cette situation avec d’autres développements technologiques. Si une société pharmaceutique désire commercialiser un nouveau médicament contre une maladie X, elle ne peut pas simplement ignorer ses effets secondaires, aussi révolutionnaire que soit le traitement. De même, le concepteur d’une nouvelle voiture devra soumettre son produit à des tests approfondis pour détecter toutes sortes d’incidents et prouver qu’il est sûr avant que la voiture ne soit lancée sur le marché. Est-il déraisonnable d’en attendre autant des développeurs de systèmes d’IA ?

Aussi divertissants que puissent être les chatbots, ils sont plus qu’un simple jouet, et peuvent avoir de réelles conséquences pour les utilisateurs. Le moins que l’on puisse attendre de leurs concepteurs est qu’ils assument leurs responsabilités et qu’ils conditionnent la disponibilité de ces outils à l’existence de garanties suffisantes destinées à parer ces effets néfastes. Les créateurs et les fournisseurs de chatbots ne devraient donc pas se soustraire à leur responsabilité morale et juridique en déclarant qu’ils n’ont aucune idée du fonctionnement de leur système et de ses réactions.

Nouvelles règles : trop peu, trop tard

L’Union européenne travaille actuellement à l’élaboration d’une nouvelle loi qui imposera des règles plus strictes aux systèmes d’IA dits “à haut risque” et assignera à leurs fournisseurs un régime de responsabilité plus strict, connue sous le nom de “Loi sur l’IA”. Toutefois, les systèmes génériques d’AI générative ne figurent pas comme tels dans la liste des systèmes “à haut risque”. Seules certaines applications sont visées par le texte. Le projet de règlement exige donc seulement de leurs fournisseurs qu’ils informent les utilisateurs qu’il s’agit d’un chatbot et non d’un humain. Si la manipulation est interdite, c’est uniquement dans la mesure où elle entraîne un “préjudice physique ou mental”, ce qui est loin d’être évident à prouver.

Nous ne pouvons qu’espérer que les États membres et les parlementaires renforceront le texte juridique au cours des négociations, et offriront une protection plus forte contre les risques engendrés par l’IA. Un cadre législatif solide n’entravera pas l’innovation, mais encouragera au contraire les développeurs d’IA à innover en respectant les valeurs inhérentes à nos sociétés démocratiques. Cependant, nous ne pouvons pas attendre le règlement sur l’IA qui, au mieux, entrera en vigueur en 2025. Avec la vitesse à laquelle les nouveaux systèmes sont introduits, ce texte apparaît dès maintenant être trop peu, trop tard

Et maintenant ?

Au vu de tout ce qui précède, nous appelons à une campagne de sensibilisation du public aux risques associés aux systèmes d’IA et encourageons les développeurs à prendre leurs responsabilités. Un changement d’état d’esprit est nécessaire, afin que les gens identifient, testent et traitent d’abord les risques de ces systèmes avant de les rendre accessibles au plus grand nombre. À cet égard, l’éducation joue également un rôle important, à tous les niveaux. Il est également urgent d’investir dans la recherche sur l’impact de l’IA sur les droits fondamentaux, y compris le droit à l’intégrité physique et morale. Enfin, nous appelons à un débat public plus large sur le rôle que nous voulons que l’IA joue dans la société, tant à court qu’à long terme.

Soyons clairs : nous sommes tous fascinés par les capacités offertes par ces systèmes. Il est cependant crucial de s’assurer que leur développement et leur utilisation s’inscrivent dans le respect des Droits de l’Homme. La responsabilité incombe non seulement aux développeurs et aux fournisseurs d’IA, mais aussi à nos gouvernements aux niveaux national, européen et international. Ils se doivent d’adopter, au plus vite, un cadre juridique protecteur assorti de garanties solides et de vérifications préalables. Cela nécessite également des organes (consultatifs) politiques qui anticipent les risques en suivant une approche multidisciplinaire incluant toutes les parties concernées.

En attendant, nous demandons que toutes les mesures nécessaires soient prises – par l’intermédiaire de la législation sur la protection des données, le droit de la consommation et, si nécessaire, l’imposition de moratoires ciblés – pour éviter que le cas tragique de notre compatriote ne se reproduise. Que cela soit un signal d’alarme pour tous. La récré est terminée : il est temps de tirer des leçons et d’assumer ses responsabilités.

Cosignataires :

Ann-Katrien Oimann, philosophe et juriste, Koninklijke Militaire School & KU Leuven

Anne-Lise Sibony, juriste, UCLouvain/KULeuven

Anne-Mieke Vandamme, virologue/bio-informaticienne, KU Leuven

Annick De Paepe, psychologue, UGent

Antoinette Rouvroy, juriste et philosophe, UNamur

Anton Vedder, philosophe, KU Leuven

Bart Preneel, ingénieur, KU Leuven

Benoit Macq, ingénieur, UCLouvain

Bert Peeters, juriste, KU Leuven

Bieke Zaman, Human-Computer Interaction / media studies, KU Leuven

Carl Mörch, psychologue, FARI / Université Libre de Bruxelles

Catherine Jasserand, juriste, KU Leuven

Catherine Van de Heyning, juriste, Universiteit Antwerpen

Cécile de Terwangne, juriste, Université de Namur

Charlotte Ducuing, juriste, KU Leuven

Daniel Soto Zeevaert, data Scientist, TIMi

David Doat, philosophe, Catholic University of Lille

David Geerts, sociologue, KU Leuven Digital Society Institute

Debbie Esmans, meemoo vzw

Eirini Christinaki, informaticien, KU Leuven

Elfi Baillien, work and organization studies, KU Leuven

Elise Degrave, juriste, UNamur

Francis Wyffels, ingénieur, UGent

Frank Maet, philosophe, LUCA / KU Leuven

Frankie Schram, juriste / administration publique, KU Leuven

Frederic Heymans, sciences de la communication, Kenniscentrum Data & Maatschappij

Friso Bostoen, juriste, European University Institute / KU Leuven

Gaëlle Fruy, juriste, Université Saint-Louis - Bruxelles

Gaëlle Vanhoffelen, chercheuse, KU Leuven

Geert Crombez, psychologue, UGent

Geert van Calster, juriste, KU Leuven / King’s College / Monash University

Geertrui Van Overwalle, juriste, KU Leuven

Geneviève Vanderstichele, juriste, University of Oxford

Gianluca Bontempi, machine learning, Université Libre de Bruxelles

Hannes Cools, scientifique en communication, AI, Media, and Democracy Lab, Université d’Amsterdam

Hans Radder, philosophe, Universiteit van Amsterdam

Heidi Mertes, éthicien, UGent

Hendrik Blockeel, ingénieur, KU Leuven

Ine Van Hoyweghen, sociologue, KU Leuven

Isabel Barberá, ingénieur privacy / juriste, Rhite

Jan Kleijssen, juriste, LUISS University Rome

Jean-Jacques Quisquater, ingénieur, UCLouvain

Jochen De Weerdt, business and process analytics, KU Leuven

Johan Decruyenaere, médecin, UGent

Joost Vennekens, sciences de l’informatique, KU Leuven

Jozefien Vanherpe, juriste, KU Leuven

Karianne J. E. Boer, criminologue et sociologue du droit, Vrije Universiteit Brussel

Katrien Verbert, informaticien, KU Leuven

Kristof Hoorelbeke, Psychologue clinicien, UGent

Laura Drechsler, juriste, KU Leuven / Open Universiteit

Laurens Naudts, juriste, Universiteit van Amsterdam

Laurent Hublet, entrepreneur et philosophe, Solvay Brussels School

Leen d’Haenens, scientific social, KU Leuven

Lieven De Lathauwer, ingénieur, KU Leuven

Lode Lauwaert, philosophe, KU Leuven

Magali Legast, ingénieure, UCLouvain

Marc Rotenberg, juriste, Center for AI and Digital Policy

Marian Verhelst, ingénieur, KU Leuven et imec

Mark Depauw, philologue, KU Leuven

Martin Meganck, ingénieur et éthicien, KU Leuven

Massimiliano Simons, philosophe, Maastricht University

Maximilian Rossmann, philosophe et inégénieur chimiste, Maastricht University

Michel Herquet, physicien / expert IA, B12 Consulting

Michiel De Proost, philosophe, UGent

Nathanaël Ackerman, ingénieur, AI4Belgium SPF BOSA

Nele Roekens, juriste, Unia

Orian Dheu, juriste, KU Leuven

Ozturk Taspinar, innovation consultant, KPMG

Paul De Hert, juriste, Vrije Universiteit Brussels

Peggy Valcke, juriste, KU Leuven

Plixavra Vogiatzoglou, juriste, KU Leuven

Rachel Alexander, CEO, Omina Technologies

Ralf De Wolf, sciences de la communication, UGent

Robin Schrijvers, chercheur AI & data, Hogeschool PXL

Roger Vergauwen, philosophe, KU Leuven

Rosamunde Van Brakel, criminologue, Vrije Universiteit Brussel

Sally Wyatt, science & technology Studies, Maastricht University

Seppe Segers, philosophe, UGent / Universiteit Maastricht

Sigrid Sterckx, éthicienne, UGent

Sofia Palmieri, juriste, UGent

Stefan Ramaekers, pédagogue et philosophe, KU Leuven

Stephanie Rossello, juriste, KU Leuven

Teodora Lalova-Spinks, juriste, KU Leuven

Thierry Léonard, juriste, Université Saint-Louis

Thomas Gils, juriste, Kenniscentrum Data & Maatschappij

Tias Guns, informaticien, KU Leuven

Tijl De Bie, ingénieur, UGent

Tim Christiaens, philosophe, Tilburg University

Tinne De Laet, ingénieur, KU Leuven

Tomas Folens, éthicien, KU Leuven / VIVES

Tsjalling Swierstra, philosophe, Maastricht University

Victoria Hendrickx, juriste, KU Leuven

Vincent Vandeghinste, technologie de langue, KU Leuven

Vinciane Gillet, avocat, GILLET-LEX

Wim Van Biesen, artiste, UGent

Yves Persoons, communication management, KU Leuven