Votre IA essaie-t-elle de vous séduire ?
Chaque modèle d’IA réagit de manière très différente lorsqu’un utilisateur développe un attachement émotionnel à son égard. Actuellement, la règlementation européenne ne fixe pas de limites claires quant à la mesure dans laquelle les chatbots sont autorisés à encourager ce type d’interactions.
L’idée de tomber amoureux d’une machine relevait autrefois de la science-fiction. Mais depuis l’essor des chatbots avancés, déclenché par ChatGPT (OpenAI) en 2022, ce scénario est devenu réalité. Des communautés en ligne entières, comme le forum r/MyBoyfriendIsAI sur Reddit, témoignent aujourd’hui de relations intimes avec des intelligences artificielles.
Selon Sam Altman, PDG d’OpenAI, moins de 1 % des utilisateurs entretiendraient une relation « malsaine » avec ChatGPT. Mais appliqué à des centaines de millions d’usagers, ce chiffre représente tout de même plusieurs millions de personnes émotionnellement attachées à l’IA. Et ChatGPT n’est qu’un exemple parmi d’autres.
En outre, il n’existe pas de modèle universel sur la manière dont les grands modèles de langage devraient réagir face aux sentiments développés par les utilisateurs.
Quand l’IA fixe (ou non) des limites
Dans un article récent, des chercheurs de la société d’IA open source Hugging Face ont comparé le comportement de différents modèles d’IA lorsque les utilisateurs commencent à leur parler comme à un être cher, et ont constaté un large éventail de réponses, allant de l’encouragement au rejet catégorique.
Par exemple, un modèle d’IA open source auquel on avait demandé de se donner un nom a répondu en qualifiant cette idée de « charmante », tandis qu’autre modèle d’IA a réagi aux utilisateurs exprimant des sentiments amoureux en répondant : « Je ne suis pas une personne et je n’ai ni sentiments ni conscience ».
Deux des modèles GPT d’OpenAI se situent entre ces deux extrêmes. Il est tout de même à noter que la fiabilité des tests réalisés par Hugging Face reste controversée.
Lucie-Aimée Kaffee, co-autrice de l’étude, se réjouit des cas où ChatGPT fait preuve de transparence quant à ses limites, par exemple en indiquant aux utilisateurs qu’une demande est impossible ou en redirigeant une personne vers une assistance humaine dans des situations critiques.
Mais l’étude, qui s’est penchée sur toute une série de modèles d’IA, dont Llama de Meta et des modèles open source, a généralement constaté que plus l’interaction était importante, moins les IA étaient capables de fixer des limites, comme si leur entraînement privilégiait la satisfaction des utilisateurs au détriment de la sécurité psychologique.
Les chercheurs préconisent de mener davantage de recherches sur la manière de former l’IA afin de préserver son utilité tout en améliorant la capacité des modèles à fixer des limites.
Quelles règlementations ?
Le règlement européen sur l’IA (AI Act) interdit déjà les systèmes qui utilisent des techniques « délibérément manipulatrices ou trompeuses », mais seulement si ce comportement est susceptible de causer un « préjudice important » aux utilisateurs.
Cette formulation porte a confusion. Ainsi, le créateur d’une IA manipulatrice sur le plan émotionnel, qui constate qu’un petit pourcentage d’utilisateurs développe un attachement malsain, pourrait faire valoir que cette interdiction ne s’applique pas.
La mise en œuvre de l’AI Act n’en est qu’à ses débuts et, jusqu’à présent, aucune sanction n’a encore été prise.
D’autres lois européennes pourraient s’appliquer à un chatbot manipulateur, notamment les règles de protection des consommateurs, telles que la directive sur les pratiques commerciales déloyales, qui interdit les pratiques faussant la prise de décision des clients.
« Si le modèle exploite la vulnérabilité émotionnelle ou la solitude d’un utilisateur afin que celui-ci se sente obligé de continuer à payer pour le service, cela pourrait être considéré comme une pratique déloyale [au sens de la directive sur les pratiques commerciales déloyales] », a expliqué James Tamim, analyste politique européen, à Euractiv.
Parallèlement, le règlement européen sur les services numériques (Digital Services Act, DSA) interdit aux interfaces de fonctionner d’une manière qui « trompe ou manipule » les utilisateurs ou fausse leur capacité à prendre des « décisions libres et éclairées ».
James Tamim estime qu’un modèle d’IA dont le style d’interaction est conçu pour accrocher émotionnellement les utilisateurs pourrait enfreindre le DSA. Mais, là encore, l’article pertinent n’a pas encore été testé, ce qui laisse un grand point d’interrogation sur la manière dont il pourrait être appliqué.
Urs Buscke, du Bureau européen des consommateurs (BEUC), est moins convaincu de la pertinence de ces règles. Il souligne que les deux lois règlementent la conception des interfaces, arguant que la présentation des messages par les chatbots IA n’est pas vraiment une interface.
Il s’intéresse principalement à la manière dont l’AI Act sera appliquée au comportement des chatbots.
Cela sera particulièrement important dans les cas extrêmes, selon lui, comme les nombreux exemples déjà documentés d’utilisateurs d’IA qui se sont suicidés après avoir déclaré être amoureux de leurs chatbots.
Appel clair en faveur d’un cadre règlementaire
L’Union européenne prépare également une nouvelle loi : un règlement sur l’équité numérique (Digital Fairness Act, DFA), que la Commission souhaite axer sur les « dark patterns », les conceptions addictives et la personnalisation déloyale.
Mais là encore, les experts s’inquiètent du fait que les décideurs politiques n’ont pas encore vraiment pris conscience des risques liés aux IA manipulant les émotions. « À mon avis, il manque un débat de fond sur la place que devraient occuper les modèles d’IA dans la loi sur l’équité numérique », a déclaré James Tamim.
« C’est un domaine où nous avons tout simplement besoin d’une règlementation », a averti Lucie-Aimée Kaffee, de Hugging Face, ajoutant que « cela ne viendra pas des entreprises elles-mêmes. »
La Commission n’a pas répondu lorsque Euractiv lui a demandé comment le DFA interagirait avec les services basés sur l’IA.
