Des ONG poursuivent la CAF à propos d’un algorithme de notation des allocataires

Quinze organisations non gouvernementales (ONG) françaises ont annoncé mercredi 16 octobre avoir saisi le Conseil d’État concernant un algorithme de notation des allocataires utilisé par la Caisse nationale des allocations familiale (CNAF). Ce dernier permettrait de surveiller près de la moitié de la population française.

L’action en justice fait suite à un arrêt de la Cour de justice de l’Union européenne (CJUE) selon lequel la prise de décision à l’aide d’algorithmes de notation utilisant des données personnelles est illégale en vertu du règlement de l’Union européenne (UE) sur la protection des données (RGPD).

Les ONG demandent au Conseil d’État de saisir la CJUE pour un renvoi préjudiciel. L’affaire pourrait durer de deux à cinq ans.

L’algorithme utilisé par la CAF « attribue à chaque allocataire un score de suspicion dont la valeur est utilisée pour sélectionner celles et ceux faisant l’objet d’un contrôle. Plus il est élevé, plus la probabilité d’être contrôlé est grande. Chaque mois, l’algorithme analyse les données personnelles de plus de 32 millions de personnes vivant dans un foyer recevant une prestation CAF et calcule plus de 13 millions de scores », peut-on lire dans un communiqué publié par les ONG.

« Cet algorithme est la traduction mathématique des discriminations déjà à l’œuvre dans notre société. Ils ne sont ni neutres ni objectifs », a déclaré Marion Ogier, avocate à la Ligue des droits de l’Homme, lors d’une conférence de presse à Paris mercredi.

Depuis 2010, la CAF utilise un algorithme pour sélectionner les allocataires qui feront l’objet d’une révision de leurs prestations. Ces vérifications se concentrent sur les cas jugés « plus risqués » en fonction de leurs profils et de leurs situations.

Un certain nombre d’enquêtes publiées en décembre 2023 ont critiqué ces vérifications, estimant qu’elles n’étaient pas réellement aléatoires. En 2021, 70 % des 128 000 vérifications effectuées provenaient d’algorithmes de notation, a révélé la CAF dans un rapport de 2022.

« L’algorithme de la CAF est seulement un maillon, l’assurance vieillesse, maladie et FranceTravail utilisent des algorithmes similaires », a ajouté l’avocate.

Le logiciel utilisé ne cherche que « les indus importants et répétés » parmi les bénéficiaires qui ont le plus de risque de commettre des erreurs dans leur déclaration, a expliqué le directeur général de la CNAF, Nicolas Grivel, à l’AFP mercredi.

« Si une juridiction devait prendre position pour […] faire évoluer le dispositif, [la CNAF se mettrait] en conformité », a-t-il ajouté.

L’affaire

L’action en justice intentée par quinze ONG devant le Conseil d’État s’articule autour de deux types d’arguments : la confidentialité des données et la discrimination.

Ces ONG, dont La Quadrature du Net, Amnesty International France, la Ligue des droits de l’Homme ou encore le Mouvement national des chômeurs et précaires (MNCP), affirment que la CAF enfreint le RGPD.

En effet, l’utilisation de l’algorithme ne respecte pas le principe de proportionnalité du RGPD — en vertu duquel ne peuvent être traitées que des données personnelles adéquates, pertinentes et non excessives au vu de la finalité — car « près de la moitié de la population française est soumise à des contrôles », explique Bastien Le Querrec, juriste de La Quadrature du Net.

De plus, les associations affirment que l’algorithme de la CAF discrimine indirectement certains individus, violant ainsi la directive européenne sur le principe d’égalité de traitement et la Charte des droits fondamentaux de l’UE.

Selon elles, l’outil cible les personnes les plus précaires recevant des prestations sociales. « L’algorithme perpétue le fantasme politique des “personnes assistées” et discrimine par ses méthodes opérationnelles », continue Bastien Le Querrec.

Le logiciel discrimine par exemple les femmes, qui représentent 95 % des familles monoparentales dans les 18 mois qui suivent une séparation, a-t-il expliqué.

Dans leur recours auprès du Conseil d’État, les ONG écrivent que l’algorithme déclenche 69 % des vérifications effectuées, alors que ces déclenchements ne représentent que 49 % du total des paiements erronés. À titre de comparaison, toute autre vérification déclenchée par un autre moyen représente 31 % du total des vérifications, mais 51 % des paiements erronés retrouvés.

Les organisations estiment donc que de tels outils de notation nuisent au traitement équitable des personnes par les services publics, certains groupes faisant l’objet d’un contrôle excessif.

« Un algorithme de notation est bien plus qu’une simple somme de lignes de code ; il est toujours politiquement motivé et soutient souvent des politiques d’austérité répressives qui nuisent aux plus vulnérables », souligne pour Euractiv Soizic Pénicaud, intervenante en politiques publiques numériques à Sciences Po et qui a travaillé avec Lighthouse Reports sur une enquête sur la CAF en tant que chercheuse indépendante.

Implications pour l’UE

L’affaire de la CAF met en lumière l’utilisation de ce type d’algorithmes par les autorités publiques françaises, mais également du reste de l’Union européenne, puisque la France n’est pas la seule à les utiliser.

L’on retrouve notamment de tels algorithmes aux Pays-Bas et au Danemark, selon Soizic Pénicaud.

L’Allemagne cherche même à les intégrer dans un cadre législatif.

Aux Pays-Bas et au Danemark, l’utilisation de tels outils a été vivement critiquée.

En janvier 2021, le gouvernement néerlandais a démissionné après que des algorithmes de notation aient accusé à tort des milliers de parents de fraudes.

Au Danemark, l’algorithme de notation de l’administration des prestations publiques a été pointé du doigt dans un rapport de Lighthouse Reports et de WIRED datant de mars 2023 pour avoir utilisé des données basées sur la nationalité — ce qui s’apparente à du profilage ethnique — afin de détecter les cas de fraudes aux prestations sociales.

Soizic Pénicaud suggère d’inverser la charge de la preuve : « Les pays de l’UE devraient prouver que leurs systèmes ne sont ni nuisibles ni discriminatoires avant de les implémenter ».

La commission du Marché intérieur du Parlement européen (ITRE) a exprimé la même idée en octobre 2023, lorsqu’elle a adopté son rapport d’initiative sur la conception addictive des services en ligne, qui pourrait figurer dans les discussions à venir sur le Digital Fairness Act.

« Ces algorithmes de notation pourraient être considérés comme présentant un risque inacceptable en vertu du règlement européen sur l’intelligence artificielle [AI Act] », conclut Soizic Pénicaud.

[Édité par Anne-Sophie Gayet]