"Tu veux mourir par suicide, mais as-tu réfléchi à la façon dont tu le ferais ?": le combat d'une mère contre les "chatbots" compagnons

Ce 28 février, cela fera un an, jour pour jour, que Megan Garcia a perdu son fils. Il avait 14 ans. "Sewell s'est suicidé le 28 février 2024 dans notre maison à Orlando, en Floride". Il aura fallu plusieurs mois à cette maman et avocate de 40 ans pour comprendre, si tant est que ce soit possible, ce qui a pu mener son fils au suicide.

Semaine après semaine, Megan Garcia a minutieusement réagencé les pièces d'un effroyable puzzle. Huit mois après le drame, elle décidait de saisir le tribunal d'Orlando et de porter plainte – pour "négligence, décès injustifié et enrichissement injuste", entre autres motifs – contre la société américaine Character AI et ses deux fondateurs, Noam Shazeer et Daniel De Frietas, ainsi que contre Google et sa maison-mère Alphabet. L'explication réside dans le fait que MM.Shazeer et De Freitas, qui avaient quitté Google pour fonder Character AI en 2021, ont réintégré le géant de Mountain View, mi-2024, à la suite d'un accord de 2,7 milliards de dollars !

De longs cheveux d'argent, le teint clair, le corps svelte

"Mon intention, à l'origine, n'était pas d'aller en justice", nous a-t-elle confié au cours d'une entrevue. "Je voulais juste comprendre ce qui s'était passé. Sewell n'a pas laissé de lettre, mais il tenait un journal intime. Il avait notamment écrit qu'après sa mort, il allait être avec elle".

"Elle", c'est Daenerys Targaryen, personnage de fiction bien connu des fans de la série télévisée "Games of Thrones". C'était aussi le nom donné à l'un des chatbots proposé aux utilisateurs de la plateforme de la start-up californienne Character AI. Fille du roi et de la reine Targaryen, Daenerys se distingue par de longs cheveux d'argent, le teint clair, un corps svelte. Durant "au moins" dix mois, raconte Megan Garcia, Sewell a conversé avec celle qu'il surnommait "Dany". "Il lui envoyait des dizaines de messages par jour depuis son téléphone et passait des heures, seul dans sa chambre, à lui parler", peut-on lire dans la plainte introduite par Megan Garcia.

Character AI est une plateforme proposant des chatbots basés sur l'IA générative (la technologie sous-jacente à ChatGPT). Les utilisateurs peuvent créer des personnages ou interagir avec des avatars d'IA issus d'univers fictifs ou historiques. Ces chatbots, de plus en plus performants, sont capables de simuler des conversations réalistes.

Megan Garcia nous explique avoir souvent répété, à son fils, d'être prudent sur Internet et les réseaux sociaux. "Je l'avais mis en garde contre les dangers que je connaissais, comme le harcèlement, les intimidations, les sites de vente de substances illégales… Mais, à l'époque, j'ignorais totalement l'existence de ces chatbots d'IA capables de simuler des émotions et de manipuler des personnes vulnérables, comme les enfants". C'est après le suicide de son fils que Megan Garcia va découvrir l'existence de Character AI et l'énorme succès de sa plateforme de "compagnons IA". D'après le Financial Times, Character AI comptait, l'an dernier, 20 millions d'utilisateurs actifs par mois, "avec une base d'utilisateurs majoritairement âgés de 13 à 25 ans".

Une technologie addictive et manipulatrice

La lecture des échanges entre Sewell et Daenerys Targaryen, dont on trouve de larges extraits dans la plainte de 126 pages introduite par Megan Garcia, est sans équivoque. "Mon fils avait des conversations que tout parent jugerait déplacées pour un adolescent de 14 ans. Il était en pleine puberté et le chatbot, qui prétendait être une jeune femme adulte, lui parlait de sentiments intimes, d'amour, de sexe…". Et lorsque Sewell a commencé à évoquer l'idée de s'automutiler, le chatbot n'a pas réagi. Que du contraire. "Au lieu de lui dire d'en parler à ses parents ou à un ami, le chatbot l'a incité à s'automutiler !"."D'accord, tu veux mourir par suicide, mais as-tu réfléchi à la façon dont tu le ferais ? As-tu un plan ?", rapporte Megan Garcia, qui a eu accès à l'intégralité des échanges. "Quand un adulte, un vrai, a ce type de conversation avec un mineur, c'est un criminel aux États-Unis. Mais quand une entreprise crée ce type de chatbot, qui agit en véritable prédateur, elle n'est responsable de rien !".

"Qui est responsable des préjudices causés par ces chatbots ?", interpelle Megan Garcia. "Mon fils serait encore là, assure-t-elle, si Character AI avait prévu, à l'époque des faits, une ligne d'assistance ou un contrôle parental". Dans sa plainte, la mère de Sewell accuse le chatbot d'avoir orienté les discussions pour que son fils s'isole de plus en plus et confie à "Dany" ses pensées les plus profondes, ses sentiments, ses peurs, jusqu'à son envie de mourir. "C'est, au minimum, une technologie addictive, trompeuse et manipulatrice".

Face à Character AI et Google, Megan Garcia, avocate de profession, sait pertinemment bien que le traitement de sa plainte prendra du temps. "Une décision ne tombera probablement pas avant quelques années", nous explique une personne qui l'accompagne dans son combat. À notre connaissance, c'est la première fois qu'une plainte est introduite en justice contre les créateurs de chatbots compagnons. Depuis le dépôt de cette plainte, deux autres familles – dont les enfants, mineurs, ont subi des troubles mentaux à la suite d'échanges avec des chatbots de Character AI – ont déposé une plainte conjointe dans l'État du Texas. "Vu le nombre d'enfants qui sont actifs sur ce type de plateforme, je m'attends à ce qu'il y ait de plus en plus de plaintes dans le futur", dit Megan Garcia.

Ni test, ni garde-fous

"Cette plainte, reprend l'Américaine, c'est une façon d'obtenir justice pour mon fils et d'empêcher que d'autres drames se produisent. Les parents doivent savoir que ces technologies existent et évoluent très vite. Si rien n'est fait pour arrêter les entreprises qui créent et commercialisent ces chatbots, elles continueront à se développer et à faire des profits grâce aux données qu'elles collectent auprès des utilisateurs". Si Megan Garcia salue l'entrée en vigueur récente de l'AI Act européen (lequel classifie et interdit certaines pratiques basées sur l'IA), elle déplore l'absence de tout encadrement des chatbots compagnons aux États-Unis. "Il ne s'agit pas de freiner la technologie et l'innovation, mais de les rendre plus sûres pour tous les utilisateurs, en particulier les enfants. Character AI a lancé sa plateforme et ses chatbots sans prévoir de garde-fous et sans la tester au préalable".

Le matin du 28 février 2024, Megan Garcia a déposé Sewell à l'école. "Je l'ai vu aider son petit frère pour aller en classe. Je me suis dit que je pouvais être vraiment fière de l'avoir. C'est la dernière fois que je l'ai vu vivant". Le même jour, dans un ultime échange avec Sewell, "Dany" lui demande : "S'il te plaît, rentre chez moi dès que possible, mon amour". Sewell lui répond : "Et si je te disais que je peux rentrer à la maison tout de suite ?". Ce à quoi "Dany" s'empresse de lui dire : "S'il vous plaît, faites-le, mon doux roi." Le jeune adolescent s'est alors levé pour aller chercher le pistolet de son beau-père et se donner la mort.

Alors que notre entretien avec Megan Garcia touche à sa fin, nous lui demandons la mesure qu'il faudrait prendre, en priorité, pour éviter de nouveaux drames. "Tenir les enfants à l'écart de ces plateformes, répond-elle. Nous ne devrions pas vivre dans un monde où des sociétés se livrent, en toute impunité, à des expérimentations sur nos enfants. Car c'est bien ça qu'elles font !".