Artificial Intelligence Act : avis conjoint des CEPD

Assurément, le projet de règlement « Artificial Intelligence Act » proposé par la Commission européenne le 21 avril 2021 n’en est qu’à ses balbutiements (COM(2021) 2016 final (v. notre présentation du texte en deux parties : sur son champ d’application, Dalloz actualité, 3 mai 2021 ; et sur son régime, Dalloz actualité, 4 mai 2021). La haute technicité des notions inhérentes à son champ d’application rend le consensus difficile. Mais encore, et nonobstant l’impossible prévisibilité des risques que suscitera l’intelligence artificielle (IA) à l’avenir, la volonté de réguler non pas globalement les systèmes d’IA mais bel et bien les produits et services embarquant des systèmes d’IA s’avère être un véritable défi en termes d’articulation des normes.

C’est notamment sur cet aspect qu’insiste l’avis conjoint rendu le 18 juin 2021 des Comité européen de la protection des données et Contrôleur européen de la protection des données (ci-après, les CEPD). De manière générale, les CEPD se félicitent de l’approche fondée sur les risques (pt 16) et des mécanismes de conformité ex ante (pt 36) retenus. Néanmoins, certains éléments ont attiré leur attention, spécifiquement la reconnaissance faciale et l’utilisation des systèmes d’IA à des fins de sécurité nationale.

Avant de les présenter, il convient de relever quelques critiques soulevées par les CEPD :

• les autorités ne sont pas tout à fait convaincues par l’établissement d’une liste exhaustive des systèmes d’IA à haut risque (proposition, art. 6, renvoyant aux annexes II et III), qui exclut certains usages pourtant risqués comme celui de la détermination de la prime d’assurance (pt 19). Plus encore, et à leur sens, des risques plus généraux devraient être pris en compte : risque pour un groupe d’individus (pt 17), pour les droits et libertés fondamentaux (pt 18), voire plus largement pour la société dans son ensemble (pt 17) ;

• deux usages devraient être prohibés selon les CEPD : la notation sociale (scoring) et la reconnaissance émotionnelle. Pour cette première, le CEPD relève que la proposition de règlement limite l’interdiction aux traitements par les autorités publiques ou en leur nom et selon des conditions restrictives (art. 5, § 1, c), alors qu’au vu des valeurs fondamentales de l’Union européenne, le règlement devrait interdire tout type de scoring (pt 29). Pour cette seconde, les CEPD appellent à une interdiction de toute utilisation de systèmes d’IA destinés à déduire les émotions d’une personne physique, sauf exceptions strictes comme en matière médicale dans les domaines où la reconnaissance d’émotions est importante, et sous réserve de garanties appropriées (pt 35).

Une articulation avec le droit de la protection des données à parfaire

Les CEPD regrettent le manque de précision sur l’articulation de la proposition de règlement avec les textes régissant la protection des données à caractère personnel : le règlement général sur la protection des données (UE) 2016/679 du 27 avril 2016 (RGPD), la directive « police-justice » (UE) 2016/680 du 27 avril 2016 et le règlement (UE) 2018/1725 du 23 octobre 2018 sur la protection des données traitées par les institutions, organismes et organes de l’Union (pts 56 et 57). Ils proposent en premier lieu l’insertion à l’article 1^er du règlement d’une mention rappelant l’application de ces textes le cas échéant (pt 15). Il nous semble cependant curieux de rappeler ce point puisque l’Artificial Intelligence Act a vocation à réglementer les produits ou services qui intègrent des systèmes d’IA, non à garantir les droits et libertés des personnes qui sont réglementés par d’autres textes. L’explication peut se trouver dans les fondements de la proposition invoqués par la Commission. En plus de se fonder sur l’article 114 du Traité sur le fonctionnement de l’Union européenne (TFUE) relatif au fonctionnement du marché intérieur, la Commission s’est également appuyée sur l’article 16 du TFUE portant sur la protection des données à caractère personnel, notamment pour ce qui concerne la prohibition de l’identification biométrique à distance en temps réel.

De la sorte, les CEPD regrettent l’absence de mention des personnes concernées dans le texte, ainsi que l’absence de mention de leurs droits et de leurs recours possibles (pt 18). Ils recommandent de prévoir que les systèmes d’IA soient respectueux des données dès la conception (privacy by design), notamment pour les systèmes de machine learning qui utilisent de nombreuses données d’entraînement, y incluant le cas échéant des données à caractère personnel (pts 58 et 76). Outre le droit de ne pas faire l’objet d’une prise de décision automatisée (RGPD, art. 22), les CEPD estiment que les droits à l’effacement et de rectification devraient être pensés dès la conception (pt 58) et les droits à la limitation et à l’effacement devraient toujours être garantis (pt 60). Le CEPD rappelle enfin, s’il en est besoin, que les personnes doivent toujours être informées lorsque leurs données personnelles sont utilisées par un système d’IA (pt 60).

Outre le droit des personnes, les CEPD soulèvent une difficulté intéressante : celle du partage d’obligations entre les fournisseurs et utilisateurs d’un système d’IA (art. 3, 2 et 4), et le responsable de traitement. En effet, c’est bien l’utilisateur, entendu comme « toute personne […] utilisant sous sa propre autorité un système d’IA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel », qui sera généralement considéré comme responsable de traitement. Or l’Artificial Intelligence Act fait peser sur le fournisseur l’évaluation des risques (sur ses obligations, v. notre présentation préc., Dalloz actualité, 4 mai 2021). À titre d’illustration, le CEPD utilise l’exemple de l’utilisateur d’un système de reconnaissance faciale, qui est responsable de traitement mais qui n’est pas lié par les obligations pesant sur le fournisseur d’un système d’IA (pt 20). La difficulté selon les CEPD réside dans le fait que l’évaluation des risques par l’utilisateur s’avère plus précise puisqu’elle est appliquée à un usage spécifique, ce pourquoi il est recommandé d’effectuer une évaluation des risques ultérieure et adaptée à l’usage voulu, comme une analyse d’impact relative à la protection des données (pt 21). À propos de l’analyse d’impact (AIPD), les CEPD précisent que la proposition de règlement devrait spécifier que le responsable de traitement doit le cas échéant l’effectuer (pt 25).

Concernant, enfin, les mécanismes de mise en conformité, l’articulation des textes est également à clarifier. En premier lieu, le marquage CE (proposition, art. 49) devrait inclure la protection des données by design (pt 23). En deuxième lieu, l’évaluation de la conformité effectuée par un tiers (proposition, art. 43) doit être généralisée à tous les systèmes d’IA à haut risque (pt 37). En troisième lieu et plus généralement, les mécanismes de certification devraient inclure les normes relatives à la protection des données personnelles (pts 74 à 76).

Des garanties insuffisamment précises en matière de sécurité

Les CEPD expriment un regret général sur l’encadrement des systèmes d’IA utilisés par les autorités répressives. Il est prévu à l’annexe III, § 6, une liste de pratiques considérées comme à haut risque, et donc soumises à un régime de conformité. Eu égard au caractère intrusif de ces pratiques, les CEPD recommandent qu’elles devraient intégrer les pratiques interdites de l’article 5 (pt 27). Ils mettent l’accent sur le croisement de données à grande échelle qui touche des personnes qui ont peu ou qui n’ont aucune raison d’être observées par les autorités. Ils estiment également que ce domaine doit être encadré par des règles spéciales (pt 27). L’on songe ainsi en miroir à la directive « police-justice » (UE) 2016/680 qui régit le traitement de données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales.

L’encadrement des usages en matière pénale n’est pas non plus exempt de critiques. Les exceptions à l’interdiction de l’utilisation de la reconnaissance faciale en temps réel dans des espaces accessibles au public à des fins répressives sont tellement larges qu’elles permettent aisément de justifier son utilisation (pt 31). De même, les systèmes d’IA destinés à prévenir un comportement futur potentiellement répréhensible devraient être interdits eu égard au principe de dignité humaine (pt 34). Enfin et plus généralement, l’utilisation de données sensibles dans la matière pénale devrait faire l’objet de garanties et de limitations supplémentaires (pt 73).

Les CEPD ajoutent qu’une exigence de transparence devrait être imposée en la matière (pts 70 et 71). Les garanties devraient être renforcées lorsqu’il s’agit de prévention et de détection des infractions pénales en raison de la présomption d’innocence, et, quand bien même le secret s’impose, les systèmes d’IA concernés devraient être enregistrés auprès des autorités de contrôle en vue d’informer le public de leur existence.

Des usages de la reconnaissance faciale et autres traitements biométriques à interdire

Comme exposé précédemment, l’interdiction de la reconnaissance faciale est très limitée (proposition, art. 5). Elle ne porte que sur l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives. Et les exceptions sont nombreuses. Il suffit que l’identification ne soit pas en temps réel, ou dans un espace privé, ou ne soit pas utilisée à des fins répressives, pour être permise, ce quand bien même elle serait à haut risque (proposition, annexe III, § 1). Cette importante limitation prive de sens l’interdiction de la reconnaissance faciale, selon les CEPD (pt 28).

De la sorte, les autorités appellent à un encadrement plus strict. Dans l’espace public, les principales difficultés relèvent, d’une part, de l’absence d’information, les personnes concernées n’étant souvent pas à même de savoir qu’elles font l’objet d’un traitement, et, d’autre part, de l’absence de proportionnalité du dispositif, en ce sens que la reconnaissance faciale implique un traitement à grande échelle pour l’identification d’une poignée de personnes seulement (pt 30). Au-delà, son caractère intrusif risque d’entraîner un effet direct sur l’exercice de la liberté d’expression, de réunion, d’association ainsi que la liberté de circulation (pt 30).

Concernant l’interdiction de l’identification biométrique à distance en temps réel, sauf exceptions spécifiques (proposition, art. 5, § 1, d), les CEPD se demandent pourquoi seule l’identification en temps réel est interdite, alors qu’une identification en temps différé est tout aussi intrusive (pt 31). De la même manière, ils se demandent pourquoi seule l’identification à des fins de sécurité nationale est interdite, alors que d’autres finalités représentent tout autant une menace pour la vie privée des personnes (ibid.). Relevons enfin que les CEPD rappellent que l’identification biométrique effectuée dans le cadre d’une manifestation politique est susceptible d’entraîner un effet dissuasif important ; notamment pour l’exercice de la liberté de réunion et d’association et plus généralement pour le maintien d’une société démocratique (ibid.).

Par conséquent, les CEPD appellent à introduire à l’article 5 de l’Artificial Intelligence Act l’interdiction généralisée de tous les outils de reconnaissance biométrique, d’une part, dans des lieux accessibles au public et, d’autre part, sur le web en cas d’identification à grande échelle (pt 32), cette dernière ayant une résonance particulière à l’heure où Clearview AI fait l’objet de nombreuses affaires pendantes au sein de l’Union (S. Stolton, Bruxelles se penche sur le scandale Clearview AI sur la reconnaissance faciale, Euractiv.fr, 13 févr. 2020 ; Privacy International, Challenge against Clearview AI in Europe).

Cette interdiction viserait toute reconnaissance biométrique ou comportementale, comme la reconnaissance faciale, des empreintes digitales, de l’ADN, de la voix, ou de la manière de frapper au clavier (pt 32). Elle devrait, ajoutent les CEPD, être étendue à tous les systèmes de catégorisation biométrique des individus (pt 33) relevant de la discrimination au titre de l’article 21 de la Charte des droits fondamentaux de l’Union européenne (sexe, race, couleur, origines ethniques ou sociales, caractéristiques génétiques, langue, religion ou convictions, opinions politiques ou autres opinions, appartenance à une minorité nationale, fortune, naissance, handicap, âge ou orientation sexuelle).

L’avis conjoint des CEPD participe d’un mouvement européen qui tend à prôner l’interdiction – ou a minima l’encadrement strict – de l’identification biométrique à grande échelle (v. déjà, Convention 108, Lignes directrices sur la reconnaissance faciale, 28 janv. 2021, T-PD(2020)03rev4, Dalloz IP/IT 2021. 361, obs. C. Lequesne Roth  ; CCE 2021, n° 3, comm. 23, obs. A. Debet), tandis qu’en France, les expérimentations ou projets d’expérimentations se multiplient alors que dans un même temps, le débat démocratique souhaité par la CNIL dès 2019 tarde à survenir (CNIL, Reconnaissance faciale : pour un débat à la hauteur des enjeux, 15 nov. 2019, Dalloz actualité, 22 nov. 2019, nos obs.). La protection des données à caractère personnel et le droit au respect à la vie privée constituent un garde-fou à l’utilisation de ces technologies (v. C. Lequesne Roth, La fin de l’anonymat : reconnaissance faciale et droit à la vie privée, Dalloz IP/IT 2021. 309 ). Cependant, et outre l’efficacité même des outils de reconnaissance biométrique qui est remise en cause, la proportionnalité entre objectif poursuivi et garantie des droits et libertés fondamentaux doit être questionnée. L’avis des CEPD offre ainsi une brique supplémentaire nécessaire aux réflexions à l’échelle de l’Union, qui semble-t-il se poursuivront lors des discussions portant sur l’Artificial Intelligence Act.