Les principales plateformes numériques garderaient l’humain dans le processus de modération du contenu
Les meilleures pratiques en matière de modération de contenu intègrent à la fois des éléments humains et des éléments automatisés dans leurs systèmes.
Selon un rapport publié jeudi 24 février sur la responsabilité des grandes entreprises du numérique, les meilleures pratiques en matière de modération de contenu intègrent à la fois des éléments humains et des éléments automatisés dans leurs systèmes.
Le deuxième rapport sur la responsabilité de la Commission Internet, qui examine les pratiques en ligne d’une série d’organisations de premier plan, conclut que celles qui sont à l’avant-garde à cet égard « recherchent une synergie appropriée entre les systèmes humains et automatisés », les différentes plateformes intégrant des modérateurs humains dans leurs processus de diverses manières.
Le débat sur le recours à la modération automatisée a été soulevé lors des négociations sur la loi européenne sur les services numériques (Digital Services Act, DSA) et d’autres initiatives européennes récentes visant à lutter contre les violences faites aux enfants en ligne, certains estimant que les lacunes des systèmes automatisés en ce qui concerne le langage et le contexte constituent un risque pour la liberté d’expression en ligne.
Conclusions
Le rapport examine six grandes plateformes en ligne afin d’identifier les pratiques les plus responsables de chacune d’entre elles et la manière dont elles façonnent leur culture d’entreprise et l’expérience des utilisateurs.
En ce qui concerne le déploiement de technologies automatisées, le rapport constate que les organisations qui font preuve du meilleur leadership l’ont fait pour lutter contre le harcèlement et les abus sur leurs plateformes, à la fois de manière proactive et rétroactive, ainsi que pour signaler et hiérarchiser les contenus potentiellement dangereux et identifier les tendances naissantes en matière d’abus.
Les plateformes étudiées par la Commission Internet répondent à ce problème de diverses manières. Le service de streaming Twitch, par exemple, utilise l’intelligence artificielle (IA) pour signaler les contenus susceptibles d’être préjudiciables, mais s’en remet uniquement à des modérateurs humains pour décider de leur suppression.
Tinder, quant à lui, utilise l’apprentissage automatique pour vérifier tous les contenus publics et certains contenus privés de la plateforme avant qu’ils ne soient vus par les utilisateurs, mais inclut un contrôle humain d’un échantillon aléatoire de contenus afin de jeter « un filet de sécurité plus large autour du processus de modération ».
Le rapport souligne également l’importance d’impliquer activement les utilisateurs dans le déploiement et la mise au point de ces systèmes. La confirmation ou le retour des utilisateurs sur les actions automatisées peut alors être utilisé pour affiner les systèmes d’apprentissage automatique et développer davantage les fonctionnalités.
Les humains : intégrés ou non dans le processus ?
Au-delà de la participation des utilisateurs, un débat plus large s’ouvre sur la question de savoir dans quelle mesure les humains doivent être maintenus dans le processus de modération.
« L’automatisation peut accomplir certains types de tâches de modération de contenu de manière relativement efficace, comme par exemple le fait de faire correspondre des exemples d’images préalablement identifiées », a confié Asha Allen, directrice de la sensibilisation au Centre pour la démocratie et la technologie (CDT), à EURACTIV.
« Mais cela ne remplace pas la nécessité d’un examen attentif du contexte, de la dynamique du pouvoir, des normes juridiques différentes et d’autres éléments cruciaux qui distinguent les contenus violents des discours autorisés sur le service. »
Si le soutien à la modération automatisée s’est concentré sur l’amélioration à la fois de la capacité d’examen du contenu à grande échelle et du bien-être des modérateurs humains qui doivent visionner ce matériel potentiellement dérangeant, des inquiétudes subsistent quant aux implications de la dépendance croissante des plateformes à ces systèmes.
En raison de ces risques, Jan Penfrat, conseiller politique principal à European Digital Rights (EDRi), a souligné l’importance pour les organisations d’employer « des modérateurs humains bien formés et bien traités qui peuvent couvrir le contenu dans toutes les langues utilisées sur une plateforme donnée ».
Il a toutefois ajouté que « la sécurité n’est pas binaire » et que, quel que soit l’équilibre automatisation-humanité du système, il est important que son succès soit « jugé en fonction du nombre de contenus qu’il identifie correctement comme étant incompatibles avec la loi ou les règles de la plateforme et du nombre de faux positifs qu’il émet et qui conduisent à la suppression injustifiée de contenus en ligne tout à fait légitimes ».
La modération dans la législation
La question de la modération automatisée des contenus était au cœur de la dérogation à la directive « vie privée et communications électroniques » adoptée par le Parlement en juillet dernier, qui a permis aux plateformes de communication d’analyser les messages privés afin de détecter les contenus liés à l’exploitation sexuelle des enfants.
La législation a été accueillie favorablement par les militants appelant à la lutte contre les abus en ligne, mais les groupes de défense des droits et les autorités, y compris le Contrôleur européen de la protection des données et le Conseil de l’Europe, ont mis en garde contre le niveau d’intrusion qu’elle permettait.
La question a également été soulevée dans le cadre des négociations sur la législation européenne relative à la réglementation des plateformes, le DSA, qui demande aux plateformes en ligne de prendre en compte les risques posés par le contenu qu’elles hébergent.
Des amendements qui auraient rendu obligatoire l’utilisation de technologies automatisées dans ce processus ont été rejetés par le Parlement, une évolution soutenue par Mme Allen.
« Il est essentiel que cette perspective soit défendue dans les négociations en cours », a-t-elle déclaré. « Le DSA ne peut pas créer un précédent pour l’utilisation accrue ou obligatoire d’outils automatisés de modération de contenu, car cela entraînera probablement un retrait abusif de contenu et créera un effet paralysant sur la liberté d’expression. »
M. Penfrat a lui aussi accueilli favorablement l’exclusion de toute exigence relative à l’automatisation. « La question, cependant, n’est pas tant de savoir si une plateforme donnée déploie une technologie de modération de contenu automatisée, mais de savoir si les utilisateurs ont réellement le choix de quitter ou de changer de plateforme si celle-ci modère le contenu d’une manière qui leur déplaît », a-t-il déclaré.
