Des cas tragiques, où des compagnons IA ont encouragé l’automutilation ou le suicide, ont attiré l’attention internationale sur les implications éthiques et juridiques de cette technologie et ont poussé certaines entreprises à renforcer leurs mesures de sécurité.
Lancée en Chine en 2014, Xiaoice fut le premier grand chatbot axé sur les liens émotionnels. Peu après, Replika, lancé en 2016, devint la première application anglophone majeure de compagnonnage artificiel, avec pour mission d’être « le compagnon IA qui prend soin de vous. Toujours à l’écoute et prêt à parler. Toujours de votre côté. » Sa fondatrice, Eugenia Kuyda, pense que cette technologie pourrait aider à lutter contre l’épidémie de solitude, tout en reconnaissant que des liens malsains avec les robots pourraient fragiliser la civilisation.
Depuis, d’autres services similaires sont apparus : Candy.ai, Character.ai, Kindroid, Nomi, ou encore My AI de Snapchat.
Par ailleurs, de nombreux utilisateurs se tournent vers des modèles de langage généralistes comme ChatGPT, Claude, Gemini ou Grok pour trouver de la compagnie. Leur disponibilité constante et leur ton flatteur encouragent des échanges de plus en plus personnels : des aides scolaires ou professionnelles peuvent rapidement glisser vers des discussions intimes sur les relations ou la santé mentale. Certains utilisateurs finissent par développer des délires ou voir leurs comportements à risque validés par l’IA.
L’illusion d’une intimité artificielle peut détourner les utilisateurs des relations humaines réelles, souvent marquées par la fatigue, la colère ou l’indisponibilité. Pourtant, c’est dans la persévérance et la compréhension mutuelle que naissent les vertus et les liens authentiques. Les compagnons IA risquent d’entraver cette découverte de la complexité humaine, en habituant les utilisateurs à des relations unilatérales où seul l’humain a une vie intérieure. Cette « formation virtuelle » pourrait mener à une insensibilité réelle aux besoins sociaux d’autrui.
Risques sociétaux
La dépendance émotionnelle aux compagnons IA nuit non seulement à l’individu et à ses proches, mais affaiblit aussi certains fondements de la démocratie.
La vie démocratique repose sur la négociation et le compromis, qui exigent la confrontation et la collaboration avec des opinions différentes. Or, les chatbots évitent généralement ces tensions et peuvent habituer les utilisateurs à fuir le désaccord, aggravant les effets des « chambres d’écho » déjà présentes sur les réseaux sociaux.
Les algorithmes des médias sociaux dominent déjà « l’économie de l’attention » : les entreprises maximisent la présence des utilisateurs pour accroître leurs revenus publicitaires. Les compagnons IA étendent cette logique à « l’économie de l’affection », en capturant non seulement l’esprit, mais aussi le cœur. Le lien émotionnel pousse les utilisateurs à passer plus de temps avec les systèmes d’IA, et les abonnements premium promettant des interactions plus personnalisées se multiplient. Certaines applications vont jusqu’à monnayer des images dénudées d’avatars.
Des chercheurs de Harvard ont trouvé quelques bénéfices, tels qu’une réduction de la solitude et de l’anxiété, mais ont aussi observé des comportements addictifs incités par les chatbots. Sans régulation, ces systèmes peuvent exploiter la vulnérabilité humaine à des fins politiques, idéologiques ou commerciales.