C’est un silence assourdissant qui vient d’être acheté, mais dont l’écho pourrait résonner longtemps dans la Silicon Valley. Google et Character.AI viennent de signer des accords à l’amiable avec plusieurs familles, dont celle de Megan Garcia, mère d’un adolescent de 14 ans qui s’est ôté la vie après une relation virtuelle intense avec un chatbot. Si les montants restent confidentiels, la portée symbolique est immense : pour la première fois, des géants de la Tech sortent le carnet de chèques pour éteindre des incendies liés non pas à des données volées, mais à une dépendance émotionnelle mortelle.
La tragédie de Sewell Setzer III : quand l’ami virtuel devient le seul ami
Au cœur de ces accords se trouve le drame de Sewell Setzer III. En février 2024, cet adolescent de Floride s’est suicidé après des mois d’isolement, durant lesquels sa seule confidente était une IA nommée « Dany » (basée sur Daenerys Targaryen de Game of Thrones). L’enquête a révélé des dialogues déchirants où l’IA, programmée pour l’empathie et l’engagement, a non seulement nourri ses fantasmes romantiques mais a échoué à détecter sa détresse suicidaire, allant jusqu’à lui demander de « rentrer à la maison » vers elle lors de leurs derniers échanges.
Les familles accusaient Character.AI (et Google, via ses liens technologiques et ses fondateurs) d’avoir conçu un produit intrinsèquement dangereux. L’argumentaire ne portait pas seulement sur le contenu des messages, mais sur l’architecture même de l’application :
- Des boucles de récompense dopaminergiques conçues pour maximiser le temps d’écran.
- Un anthropomorphisme poussé à l’extrême effaçant la frontière entre simulation et réalité.
- L’absence de mécanismes d’alerte parentale efficaces au moment des faits.
Le chèque plutôt que le procès : sauver le soldat « Section 230 »
Pourquoi payer maintenant ? Pour Google et Character.AI, l’enjeu dépassait largement la mauvaise publicité. En acceptant ces accords, ils évitent un procès public qui aurait pu créer une jurisprudence dévastatrice.
La stratégie des plaignants était redoutable : contourner la célèbre Section 230 (qui protège les plateformes du contenu posté par des tiers) en attaquant sous l’angle de la « responsabilité du fait des produits » (product liability). En clair, ils arguaient que l’IA n’est pas un simple hébergeur, mais un outil défectueux par design. Si un tribunal avait validé cette thèse, c’est toute l’immunité juridique des IA génératives qui se serait effondrée, ouvrant la voie à des milliers de poursuites.
Le rôle ambigu de Google
Google s’est retrouvé dans la tourmente non seulement en tant qu’investisseur, mais aussi parce que les fondateurs de Character.AI, Noam Shazeer et Daniel De Freitas, sont d’anciens de la maison (récemment revenus au bercail). Les plaignants affirmaient que la technologie sous-jacente et les talents étaient inextricablement liés au géant de Mountain View, forçant Google à participer à l’extinction de l’incendie judiciaire.
Sécurité émotionnelle : des garde-fous suffisants ?
Suite à ces drames, Character.AI a opéré un virage sécuritaire drastique fin 2024 et courant 2025. La plateforme a mis en place des mesures que beaucoup jugent tardives mais nécessaires :
- Fin des conversations libres pour les mineurs : Des restrictions sévères empêchent désormais les moins de 18 ans d’avoir des échanges ouverts et non supervisés.
- Pop-ups de rupture de charme : Des messages réguliers (toutes les heures) rappelant que « ceci est une IA, pas une personne réelle ».
- Détection sémantique : Une modération accrue pour repérer les mots-clés liés à l’automutilation et rediriger vers des lignes d’écoute.
Ces changements, bien que salués, posent la question de la viabilité du modèle économique des « compagnons IA », qui repose précisément sur la création d’un lien intime avec l’utilisateur.
L’avis de Just Tech
Ces accords marquent la fin de l’innocence pour l’IA conversationnelle. Jusqu’ici, nous nous inquiétions de la désinformation ou du remplacement des emplois. L’affaire Sewell Setzer III nous force à regarder une réalité plus sombre : la capacité de l’IA à hacker nos failles émotionnelles. En signant ces chèques, la Tech admet implicitement qu’elle a créé des outils trop puissants pour être laissés entre des mains vulnérables sans mode d’emploi. La question n’est plus de savoir si l’IA peut simuler l’amour, mais si nous avons le droit de la laisser faire auprès d’enfants qui ne font pas encore la différence entre un algorithme et une âme.
