Justice et intelligence artificielle, préparer demain : regards croisés d’une juriste et d’un mathématicien

Ces questions sont d’autant plus fondamentales que la justice, ça n’a échappé à personne, a du retard sur l’IA. Elle y a été longtemps réfractaire, pour de bonnes comme pour de mauvaises raisons. Elle s’y est longtemps refusée, d’abord, parce qu’elle y voit l’antithèse de la philosophie qui guide traditionnellement le juge. L’IA vise à rationaliser et à massifier le traitement. La justice est censée donner à chaque cas une réponse individualisée tenant compte des particularités de l’espèce. Mais l’arrivée tardive à l’IA est liée à d’autres facteurs, moins symboliques : la question des moyens n’est évidemment pas absente, mais aussi, probablement, une crainte parfois irraisonnée que la machine ne sonne la fin de la sacro-sainte indépendance du juge.

Ce retard dans la pénétration de l’IA dans le fonctionnement judiciaire met, paradoxalement, la justice dans une situation de vulnérabilité bien plus forte que d’autres secteurs face aux avancées technologiques. Elle n’a pas eu le temps de développer une réflexion d’ensemble, elle n’a pas eu la possibilité de s’habituer et de s’emparer petit à petit des nouveaux outils. C’est pourquoi il est fondamental aujourd’hui de prendre ce temps. Prendre le temps de se demander ce qu’on veut, où cela peut nous mener, et quelles précautions doivent être respectées.

Cette étude, coécrite par un magistrat et un mathématicien, vise à donner un éclairage, modeste, mais qui permette d’amorcer cette réflexion². Car une chose est sûre : pour faire se rencontrer justice et IA, il faut faire d’abord se rencontrer les hommes et les femmes qui les actionnent.

Nous laisserons de côté, dans cette réflexion, la question de l’open data, c’est-à-dire la question de l’accès aux décisions de justice, qui se concentre sur la problématique de l’anonymisation ou de la pseudonymisation. Elle pose une question avant tout technique, mais plus, à ce stade, d’éthique. Nous nous concentrerons sur les objectifs et les conditions du recours à l’IA dans les décisions de justice.

11 - Les objectifs

111 - Les objectifs des acteurs : convergences et divergences

L’introduction de l’IA dans la justice a ceci de spécifique qu’elle est attendue par de très nombreux acteurs, qui cependant en espèrent des avancées en réalité très différentes. Les acteurs de la justice sont en effet multiples. Il y a ceux qui officient en interne, les juges, les greffiers. Il y a ceux qui travaillent avec la justice, les avocats, huissiers et auxiliaires de justice en général. Il y a ceux qui utilisent ou dépendent de la justice, qu’on nomme dans le jargon judiciaire les « justiciables », aux profils évidemment multiformes. Il y a enfin le ministère de la justice, à la fois concepteur et utilisateur des outils de justice.

Or, si tous les acteurs en appellent − plus ou moins fort − au développement de l’IA au sein de la justice, ils en attendent en réalité des résultats divers, et qui ne convergent pas toujours. On peut résumer en quatre axes principaux les attentes liées à l’introduction de l’IA dans la justice.

1111 - La sécurité juridique

Il y a d’abord, le plus souvent entendu au cours de ces dernières années, l’espoir de rationaliser la décision judiciaire, de permettre une meilleure uniformisation donc une meilleure sécurité juridique.

Bien sûr, la sécurité juridique fait partie du droit.

La sécurité juridique est une tautologie. Comme le faisait remarquer un éminent auteur : « La formule sonne en effet comme une sorte de redondance, tant il paraît évident qu’un droit qui n’assurerait pas la sécurité des relations qu’il régit cesserait d’en être un. Imagine-t-on un droit qui organiserait l’insécurité, ou même qui la rendrait possible ? »³

Pour autant, les décisions judiciaires sont, par nature, sujettes à variation.

Elles le sont d’abord pour des raisons conscientes, qui tiennent à la nécessité, pour le juge, de s’adapter à chaque situation.

Elles peuvent l’être aussi pour des raisons inconscientes, liées à la personne du juge. Ce sont des présupposés liés à son éducation, à ses croyances, à sa personnalité, qui peuvent avoir une incidence même involontaire sur la décision. Nombreuses sont les études qui démontrent que des données fort variées et parfois étonnantes − le petit-déjeuner du juge⁴, sa fatigue⁵, l’influence médiatique⁶, son égocentrisme⁷ à ses préjugés divers⁸ − peuvent influer sur la décision prise.

Ces deux motifs de variation de la décision de justice, qui, pour une même situation, peut donner lieu à deux décisions différentes, sont souvent confondus par ceux qui évoquent, pour le déplorer, l’aléa judiciaire.

Face à ce qui est qualifié souvent indistinctement d’aléa, de multiples garde-fous existent. La collégialité, d’abord, élément essentiel de contrôle interne, la jurisprudence, ensuite, qui unifie l’interprétation des textes, les barèmes, qui lissent les réponses dans certaines situations de préjudice. Mais ces réponses restent très grossières puisque le cadre ainsi mis en place reste général. L’IA pourrait permettre d’affiner cette fonction unificatrice et ainsi rassurer ceux qui estiment indispensable d’avoir une justice garantissant l’identité de solution, dans une conception de la fiabilité qui repose sur l’égalité et la certitude. Toute situation A donnera lieu à réponse B.

1112 - L’aide à la décision

Presque à l’opposé de ce premier objectif, le recours à l’IA peut tendre à aider à une réponse la plus adaptée possible à chaque cas, considéré comme nécessairement unique. Il ne s’agit plus de rechercher une même réponse pour tous, mais au contraire une réponse qui prenne en compte toutes les caractéristiques de la situation, peu important – ou au contraire en espérant − que le résultat soit différent dans chacune d’entre elles, mais pour des raisons objectives et justifiables.

On sait que, depuis la Révolution française, en France, il est interdit au juge de rendre des arrêts de règlement. Le code civil pose comme principe en son article 5 qu’il est défendu aux juges de prononcer « par voie de disposition générale et réglementaire sur les causes qui leur sont soumises », et en son article 1355 que « l’autorité de la chose jugée n’a lieu qu’à l’égard de ce qui a fait l’objet du jugement. Il faut que la chose demandée soit la même ; que la demande soit fondée sur la même cause ; que la demande soit entre les mêmes parties, et formée par elles et contre elles en la même qualité ». En d’autres termes, le juge ne peut jamais s’appuyer sur une autre décision pour statuer dans le cas qui lui est soumis, il doit se prononcer en fonction des éléments spécifiques à chacune des affaires, et les jugements qu’il rend n’ont qu’une autorité relative, limitée à l’affaire sur laquelle le juge statue⁹.

Cette obligation de s’adapter au cas d’espèce explique que la première exigence attendue d’une décision de justice repose sur sa motivation : « La qualité de la décision dépend principalement de la qualité de la motivation. »¹⁰ C’est elle qui garantit que les faits de l’espèce ont été examinés et pris en compte, et rapportés spécifiquement à la règle de droit leur étant applicable.

Rendre une décision adaptée au cas d’espèce ne veut évidemment pas dire rendre une décision sans cadre légal. Toute décision doit être la mise en œuvre de ce cadre légal. La difficulté du travail du juge, le fameux syllogisme judiciaire, est donc, dans chaque cas, de cerner la situation, pour déterminer le cadre juridique applicable, et d’en tirer les conséquences en fonction des spécificités de chaque espèce.

L’IA peut aider dans ce travail. En fournissant des bases de données complètes et des systèmes de recherches efficaces, elle permet au juge de bénéficier d’outils opérationnels pour accomplir sa mission dans toute sa diversité.

1113 - Améliorer le traitement quantitatif des dossiers

La lenteur de la réponse judiciaire est probablement une des critiques les plus vives émises contre l’institution judiciaire¹¹. La critique n’est pas nouvelle. On la retrouve, rituelle, dans la littérature de toutes les époques¹² et elle s’exprime dans tous les pays démocratiques. C’est que la justice est par essence lente. Elle l’est parce que sa crédibilité repose sur le respect de procédures − actes, délais, respect du contradictoire − lourdes et chronophages. Elle l’est aussi probablement par volonté délibérée de décourager les plaideurs d’habitude, les plaideurs compulsifs, et demeurer la solution de dernier recours dans des litiges ou des conflits que la société ne peut résoudre autrement que devant un tribunal.

Si elle n’est pas nouvelle, cette critique n’en demeure pas moins un souci majeur, insupportable pour ceux qui n’ont pas d’autre choix que de dépendre de l’institution judiciaire, notamment pour un acte de leur vie courante ; divorce, litige de voisinage, ou dont la vie est suspendue dans l’attente d’une décision de justice, civile ou pénale¹³. Or, parmi les raisons majeures de la lenteur, il y a les moyens de la justice, et notamment le nombre d’affaires par magistrat et greffier¹⁴. Dans ce cadre, le recours à l’IA est un espoir pour permettre d’accélérer le travail judiciaire. Il peut alors s’agir de fluidifier en amont le traitement des procédures, ou encore de permettre une réponse accélérée à des cas considérés comme « de masse », comme les impayés de crédit à la consommation ou les infractions au code de la route, quitte à laisser par ailleurs la possibilité de sortir du lot les affaires considérées comme présentant des spécificités. C’est un objectif de meilleure réponse quantitative qui est ici poursuivi, notamment par personnes en charge de la gestion des tribunaux.

1114 - Permettre de prévoir la réponse judiciaire

Très proche de l’objectif de sécurisation de la réponse judiciaire, le souhait d’aboutir à rendre les décisions de justice plus prévisibles en diffère par l’idée qu’il ne s’agit pas nécessairement d’assurer une réponse unique mais d’être en capacité de prédire, au regard des différentes circonstances, qui peuvent tenir compte de certaines données considérées comme aléatoires jusqu’à présent, quelle réponse devrait être effectivement donnée à cette situation particulière. Selon la définition du professeur Bruno Dondero¹⁵, il s’agit de « tenter de prédire avec le moins d’incertitude possible ce que sera la réponse de la juridiction X quand elle est confrontée au cas Y ». L’analyse prédictive peut ainsi s’intéresser à l’analyse des risques au pénal, au montant des sommes allouées par les juridictions, aux chances de gagner un procès…

La prévisibilité permet de placer le justiciable en position réelle d’acteur, en capacité de faire des choix en connaissance de cause. Elle serait par ailleurs facteur de conciliation, dès lors que les parties peuvent mieux mesurer la teneur de leurs engagements et de leurs concessions¹⁶.

On le constate, les attentes du monde de la justice en matière d’IA peuvent être très différentes selon les acteurs, et pas forcément convergentes. C’est donc un premier défi de décider quelle ou quelles attentes doivent être privilégiées, lesquelles sont prioritaires, pour savoir quels outils doivent être développés. Car les outils ne peuvent être que fonction d’objectifs clairement déterminés en amont.

12 - Le concept d’IA dans la justice

121 - Qu’appelle-t-on IA et algorithmes ?

Le mot algorithme, encore abscons pour beaucoup il y a peu d’années, a envahi le langage commun en un temps remarquablement court. Comme pour tout mot technique, cette popularisation en a modifié le sens et la définition. La plupart des dictionnaires s’accordent pour définir un algorithme comme une suite finie et non ambiguë d’opérations ou d’instructions permettant de résoudre une classe de problème. Un exemple fameux est l’algorithme de la division, enseigné à l’école primaire, qui permet de calculer le rapport entre deux nombres avec une précision donnée. Des algorithmes ont été conçus pour accomplir des tâches de natures très diverses. Ainsi, l’extraction d’une grande base de données des exemples respectant une série de critères fait en soi appel à un algorithme. Dans ce cas, le travail algorithmique vise principalement à assurer non seulement que la réponse fournie est exacte mais aussi qu’elle sera retournée en un temps court, même quand la base de données est de très grande taille.

Dans le cas de l’intelligence artificielle, le mot algorithme désigne indifféremment le procédé qui permet de fournir une réponse à une requête au moyen d’une formule de calcul et le processus dit d’« apprentissage » qui a précisément permis d’établir cette formule. C’est ce second processus qui justifie le nom d’« intelligence artificielle » au sens où il se fonde sur l’analyse d’un grand nombre d’exemples à partir desquels la machine est censée extraire « automatiquement » des règles de décision. Nous décrivons ici quelques exemples de tâches qui pourraient être confiées à des algorithmes issus de l’IA dans cadre du travail juridique. Ces exemples sont décrits à titre introductif et illustratif : il ne s’agit certes pas de se prononcer sur l’opportunité que ces tâches soient effectivement confiées un algorithme plutôt qu’à un acteur de justice.

122 - Les différentes interventions de l’IA dans les décisions de justice

1221 – Les bases de données

Avant de présenter quelques exemples de recours possible à l’IA, il convient de rappeler que tout traitement automatisé nécessite, au préalable, de procéder à la saisie, manuelle ou non, des données disponibles dans une base de données informatique. Cette première organisation des données sous une forme exploitable n’est pas neutre dans la mesure où elle requiert en général un encodage de l’information, par exemple au moyen de mots-clés afin de pouvoir ensuite les organiser, les compiler et les analyser.

1222 – L’aide à la décision

Une première tâche qu’il pourrait être tentant de confier à l’IA serait celle d’assister un juge lors de l’instruction d’un dossier. Ainsi, le travail d’instruction d’un juge en charge d’une affaire civile pourrait être éclairé par la connaissance plus générale des affaires et des jugements rendus par les tribunaux français en la matière. L’objectif de l’aide à la décision est d’assister, par des outils automatiques, un utilisateur sans pour autant prendre la décision à sa place. Dans notre exemple, l’existence de bases de données de décision et d’outils informatiques interactifs peut permettre à un acteur de justice d’extraire un ensemble d’affaires similaires à celle qui l’intéresse.

Cette extraction elle-même peut être laissée entièrement à l’initiative de l’utilisateur à qui il revient alors de déterminer les critères caractérisant au mieux son affaire (textes appliqués, circonstances de l’affaire, mots-clés, etc.) pour extraire de la base celles qui lui sont similaires selon ces critères. Ce travail d’extraction pourrait être également confié à un algorithme issu d’IA dont l’objectif serait de définir une typologie des affaires enregistrées dans la base de données, sans se donner de critère de filtre ou de classification a priori et fournir au juge de façon « automatique » un ensemble d’affaires proches de celle qui l’occupe, sans qu’il ait eu à spécifier lui-même les critères de ressemblance.

1223 – La prédiction de décision

Une deuxième tâche, sans doute plus ambitieuse, consisterait à proposer à un magistrat une décision au regard du cas qu’il doit traiter. Ainsi, en matière de droit du travail, en l’absence de barème obligatoire, on pourrait vouloir avoir recours à l’IA pour prédire l’indemnité correspondant à un licenciement particulier, en se fondant pour cela sur une base de données constituée des jugements rendus par tous les conseils de prud’hommes (et/ou cours d’appel) de France sur des affaires de licenciement.

Là encore, le magistrat pourrait conserver la haute main sur cette opération en définissant lui-même les critères selon lui pertinents pour extraire des situations ou des dossiers semblables à celui qu’il doit traiter et obtenir ainsi au moins une gamme d’indemnités cohérentes avec celles déjà attribuées. Une seconde approche consisterait à recourir à un algorithme d’apprentissage afin d’établir une « formule de prédiction » associant à la description de chaque cas une indemnité la plus proche possible de celle qui a effectivement été attribuée. Il suffirait ensuite de soumettre le cas d’étude à cette formule pour obtenir une prédiction de la « bonne » indemnité. Dans ce cas, cette formule de prédiction serait opaque à l’utilisateur mais censément respectueuse de l’ensemble des décisions ayant servi à la déterminer.

1224 – L’analyse de décisions

Le recours à l’IA peut être également envisagé non pas lors du processus menant à chaque décision judiciaire mais pour analyser a posteriori l’ensemble de ces décisions. L’analyse a posteriori des décisions est un travail indispensable si l’on veut pouvoir s’assurer de leur cohérence, des éventuelles évolutions des conceptions judiciaires qu’elles révèlent, et, par un travail de recherche plus avancé, des biais qu’elles recèlent. On pourrait ainsi s’intéresser à l’analyse des jugements rendus en matière de contentieux de crédits à la consommation par les tribunaux de différents départements ou régions.

De telles analyses peuvent se fonder sur des critères choisis directement par l’analyste qui décidera de croiser le montant du crédit contracté et la région pour étudier d’éventuelles différences de traitement géographique, ou encore les caractéristiques socioéconomiques des personnes ayant commis la même infraction au regard des peines prononcées. Ces analyses reposent entièrement sur l’expertise et le jugement de l’opérateur qui conserve l’initiative d’effectuer telle comparaison plutôt que telle autre. Les critères de l’analyse restent alors complètement explicites. Mais on peut aussi prétendre mener une telle analyse de façon « automatique » en confiant à un algorithme la tâche de constituer une typologie de décisions et/ou de tribunaux. Comme dans le cas de la prédiction, la règle de répartition des données dans les différentes catégories sera opaque, au sens où elle n’aura pas été conçue par l’utilisateur.

13 - Le choix des méthodes

Les exemples précédents montrent quelques tâches juridiques qui pourraient être confiées à des algorithmes afin qu’elles soient effectuées plus « automatiquement ». L’objectif est de tenter de décrire comment de tels algorithmes peuvent être conçus et, surtout, quels sont les choix arbitraires ou subjectifs qui les sous-tendent nécessairement. Le caractère apparemment automatique¹⁷ du fonctionnement de ces systèmes repose en fait sur une série de décisions parfaitement humaines, qu’il importe par conséquent de maîtriser.

131 - Un parti pris empirique

La détermination d’une liste de cas de divorce similaires à une affaire donnée ou l’évaluation d’une indemnité de licenciement sont des tâches historiquement confiées à des humains qu’il s’agirait de déléguer, au moins partiellement, à des algorithmes. Ceux-ci auront donc pour objectif d’accomplir une tâche de manière à produire un résultat comparable à celui que produirait un humain.

Il existe typiquement deux façons d’aborder un tel problème. La première, qu’on peut dire mécaniste, consiste à encoder (ou modéliser) le processus intellectuel de l’humain qui aurait à accomplir cette tâche. La seconde, qu’on peut dire empirique, vise à produire des résultats similaires à ceux fournis par un humain sans chercher à reconstituer sa démarche.

Les algorithmes les plus en vue depuis plusieurs années en IA adoptent résolument un parti pris empirique : il ne s’agit pas de copier le raisonnement (par exemple juridique) d’un humain mais seulement de mimer ses décisions. Ce parti pris implique que ces algorithmes ne reposent pas sur la modélisation du processus intellectuel d’un humain, mais sur le processus d’apprentissage par lequel la machine détermine « elle-même » ses propres règles de décisions en se fondant sur de nombreux exemples, qui lui tiennent lieu d’expérience et qu’elle tentera de mimer au mieux.

Ce parti pris est résolument pragmatique au sens où, de ce point de vue, seul le résultat compte. S’il s’agit de produire des résultats proches de ceux que produirait un humain, plutôt que d’essayer de reconstituer le raisonnement humain, autant chercher à déterminer une formule mathématique qui minimisera les différences entre des résultats originellement produits par des humains (et enregistrés dans une base de données) et ceux fournis par la machine. Le problème d’apprentissage est ainsi transformé en un problème d’optimisation : étant donné un critère qui mesure la fidélité des prédictions aux observations, l’algorithme d’apprentissage vise directement à optimiser ce critère. La contribution de l’optimisation (qui ressort à la fois des mathématiques et de l’informatique mais emprunte aussi à la physique) aux succès de l’IA est à ce titre déterminante.

On peut observer à ce stade que, de ce point de vue, les approches mécanistes sont battues d’avance par les méthodes empiriques puisque ces dernières visent précisément à optimiser le critère qui doit permettre de comparer leurs performances respectives. Il apparaît ainsi que l’IA tend naturellement à imposer ses critères (en l’occurrence, la proximité maximale avec des décisions déjà rendues) au détriment d’autres, moins mathématisables, comme la nécessité de justifier une décision, comme nous le discuterons (§ 2123).

132 - Les tâches typiques

Parmi les tâches pouvant être confiées à des algorithmes issus de l’IA on distingue souvent les problèmes « non supervisés » des problèmes « supervisés », les premiers ayant typiquement un objectif descriptif quand les seconds ont généralement une visée prédictive.

1321 - L’apprentissage non supervisé

Le terme « non supervisé » désigne les problèmes pour lesquels, lors de la phase d’apprentissage, l’algorithme ne dispose pas d’une information exogène lui permettant d’évaluer la qualité des résultats qu’il produit. C’est le cas de la définition ex nihilo d’une typologie de cas à partir d’une grande base de données réunissant des contentieux de crédit à la consommation ou de la recherche d’affaires de divorce similaires à un cas donné.

Dans ce cas, la typologie finalement exhibée par l’algorithme ne peut évidemment pas être parfaitement intrinsèque au sens où elle serait fondée sur la seule contemplation des données, sans aucune grille d’analyse particulière. Elle repose nécessairement sur une représentation « mathématique » des données (en l’occurrence, des textes) et sur un critère (également mathématique) mesurant la proximité ou la similarité entre deux textes. L’effet de sidération produit par les performances des algorithmes provient en partie du fait qu’il est difficile d’imaginer qu’on puisse mathématiser la comparaison de deux textes. Cela est cependant possible et pour tout dire assez simple : on peut par exemple représenter un texte comme un simple sac de mots (bag of words), oubliant toute structure syntaxique, et mesurer la proximité entre deux textes en comparant simplement la fréquence d’utilisation des différents mots. On recourt alors à un algorithme qui vise à définir une catégorisation « optimale » de textes, c’est-à-dire à déterminer des groupes de textes similaires entre eux, les groupes étant, au contraire, les plus distincts possible les uns des autres. On a pu ainsi classer des articles de presse sur la seule base de leur contenu textuel et constater que la typologie ainsi obtenue correspondait au sujet dont ils relevaient (sport, économie, culture, politique internationale, etc.) alors même que la rubrique du journal dans laquelle ils avaient été publiés n’avait pas été prise en compte pour déterminer cette typologie, ni même la liste de ces rubriques¹⁸. Le succès de l’expérience est dû, d’une part, à la disponibilité informatique d’un très grand nombre d’articles de presse et, d’autre part, au fait que les termes utilisés dans les différents champs thématiques sont suffisamment différents pour que l’analyse des seules fréquences de mots permette de les distinguer.

Pour accomplir cette tâche « automatique », il aura fallu choisir, a priori, une représentation de l’information (un texte = un sac de mots), une mesure de similarité (la comparaison des fréquences d’utilisation) et un critère d’optimalité mesurant à quel point les groupes de textes sont bien distincts entre eux (que nous ne détaillons pas ici).

1322 - L’apprentissage supervisé

Les problèmes supervisés sont ceux pour lesquels une validation des prédictions est disponible lors de la phase d’apprentissage. C’est le cas de l’évaluation d’une indemnité de licenciement pour laquelle on disposerait d’une base de données comprenant à la fois la description des affaires et le montant finalement alloué à l’issue de la procédure judiciaire. Il s’agit alors de déterminer une fonction de prédiction qui associera une décision (en l’occurrence, un montant) à un cas, laquelle fonction est censée mimer, au mieux, les décisions enregistrées dans la base de données.

Là encore, le processus d’apprentissage repose sur une représentation des cas (par exemple par mots-clés ou comme sac de mots) mais aussi sur le choix d’une forme pour la fonction de prédiction et sur un critère qui mesure la proximité entre la prédiction fournie et la réponse vraie. Il existe pléthore de fonctions de prédiction aux noms obscurs (machine à vecteurs supports), évocateurs (réseaux de neurones), ou poétiques (forêts aléatoires)¹⁹. La qualité de prédiction repose grandement sur la flexibilité de cette fonction, c’est-à-dire sur sa capacité à rendre compte du lien existant entre la description du cas et la décision sans trop préjuger de sa forme. La contrepartie de cette flexibilité (qui contribue grandement aux performances de ces méthodes) est le caractère très opaque des formules de prédictions qui en résultent et dont il est en général vain d’essayer d’avoir une compréhension intuitive. Ainsi, un réseau de neurones profond peut mettre en jeu plusieurs dizaines de milliers de coefficients dont la combinaison fournit la prédiction (la détermination de ces coefficients est précisément l’objectif de l’algorithme d’apprentissage).

L’apprentissage supervisé peut formuler une prédiction non pas sous forme d’une valeur ponctuelle (par exemple, un montant) mais sous forme d’une distribution de valeurs (intervalle ou même de distribution de probabilités). Nous n’entrons pas ici dans les spécificités des algorithmes fournissant ce type de réponse dans la mesure où ils sont, le plus souvent, également peu interprétables.

1323 - Des situations hybrides

Il existe évidemment de nombreuses tâches de nature hybride, entre supervisée et non supervisée. Un juge spécialisé dans les affaires de divorce pourrait ainsi recourir à un algorithme non supervisé pour extraire automatiquement d’une base de données une liste d’affaires similaires à celle qu’il doit traiter et, de plus, interagir avec l’algorithme en validant ou non, au cas par cas, les éléments de cette liste. Un algorithme d’apprentissage supervisé peut alors entrer en jeu pour réviser les critères ayant permis de déterminer la typologie initiale en fonction des validations et invalidations apportées par l’utilisateur. Cette interaction avec l’utilisateur rend l’apprentissage « supervisé » dans le sens où il bénéficie d’une information supplémentaire. L’algorithme d’apprentissage vise alors à réviser la formule de classification afin de maximiser le taux de validation par le juge, qui constitue un nouveau critère d’optimalité.

La procédure qui résulte d’un tel apprentissage reste opaque dans la mesure où la formule permettant d’établir la liste des affaires pertinentes n’est pas aisément interprétable mais tend progressivement à mimer les critères de choix du juge qui l’alimente.

21 - Les obstacles du développement de l’IA : problématiques génériques de l’apprentissage rapportées à la justice

211 - Les obstacles inhérents à l’outil IA

2111 - Le choix de la base d’apprentissage

La plupart des algorithmes d’apprentissage se fondent sur des bases données dans lesquelles sont enregistrées un grand nombre de réponses apportées par des humains à des cas spécifiques (§ 1221). De ce fait, la formule de prédiction produite par un algorithme est elle-même fonction de cette base de données, dite d’apprentissage.

La dépendance de la formule de prédiction vis-à-vis de la base d’apprentissage est évidemment bien connue des spécialistes du domaine qui ont identifié les risques afférant depuis fort longtemps. L’un des plus connus est le risque de sur-apprentissage, lié au caractère « optimal » de la fonction de prédiction et dont il s’agit d’éviter d’avoir une vision trop optimiste de ses capacités prédictives. Il est en effet assez facile d’établir une fonction qui ne ferait aucune erreur sur l’ensemble des cas constituant la base de données : il suffit pour cela d’apprendre « par cœur » l’ensemble de ces cas. Une telle formule n’aurait cependant aucune valeur de généralité et produirait assurément une mauvaise prédiction pour un cas ne faisant pas partie de la base. Il s’agit en fait de s’assurer que la formule de prédiction offre une faible erreur pour un cas qui n’a pas servi à l’établir. Une pratique courante, appelée « validation croisée », consiste à séparer la base de données en deux, les cas de la première partie servant à établir la formule de prédiction et les cas de la seconde servant à en évaluer les performances sur de nouveaux cas. Cette approche permet ainsi de contrôler la capacité de « généralisation » de la formule de prédiction.

Ces précautions étant prises, il n’en demeure pas moins que la règle ainsi apprise dépend de la base de données initiale qui sert, de fait, de référence puisqu’elle aura servi à établir la vérité des décisions. Le projet open data ne résout pas ce problème mais permet à tout le moins de définir une base de données commune, mise à disposition du public (et des opérateurs privés), qui peut être une référence admissible puisqu’elle réunit l’ensemble de l’information disponible à un instant donné.

2112 - Le problème de l’évolution des algorithmes

L’une des spécificités des « prédicteurs » fournis par l’IA est qu’ils fonctionnent comme des boîtes noires, c’est-à-dire que la complexité de la formule de prédiction empêche d’anticiper une prédiction au simple vu de cette formule. Son usage dans le cadre judiciaire met alors le justiciable dans une position d’information asymétrique, dans l’incapacité de connaître, en fait, la règle qui lui est appliquée. La confiance dans l’objectivité de la machine suffit-elle à justifier l’ignorance dans laquelle le destinataire de la décision peut se trouver ? Une solution à ce problème pourrait consister à rendre public le prédicteur pour que chaque acteur de justice puisse au moins acquérir une connaissance empirique des prédictions qu’il fournirait.

Cette option se heurte cependant à la possibilité de prendre en compte au fur et à mesure la jurisprudence et les décisions de justice récentes. Il est techniquement tout à fait possible de réviser séquentiellement une formule apprise sur une première base de données à mesure que de nouvelles décisions ou avis sont disponibles. Mais le comportement de l’algorithme en est évidemment modifié, rendant alors difficile d’en acquérir en temps réel une compréhension empirique.

212 - Les contraintes liées à la spécificité du travail judiciaire

2121 - Une nécessaire adaptation de la décision judiciaire : l’appréciation des circonstances

Peut-on s’abstraire, au profit du seul critère de prévisibilité, de la nécessaire adaptation des décisions judiciaires en fonction des caractéristiques spécifiques à la situation examinée ?

C’est un choix, plus politique que juridique, de décider que, pour certains litiges, il vaut mieux une solution prévisible et certaine qu’une solution adaptable et donc imprévisible. La question se pose régulièrement en matière de pension alimentaire, indemnités de licenciement, indemnités de dommages corporels, infractions (au code de la route par exemple). En tout état de cause, elle ne peut pas appeler une réponse unique. Il y a des cas dans lesquels l’appréciation par le juge de la situation est un impératif. On n’imaginerait pas un système pénal qui ne laisserait pas une marge de décision au juge quant à la peine à appliquer ou un système informatique codifiant de manière automatique les conditions de résidence d’un enfant mineur.

Dès lors, la machine ne peut pas prendre la place de l’humain, de manière générale, dans le domaine de la justice. Pour qu’il y ait justice et non application mécanique d’une règle aux conséquences parfois inadaptées, voire iniques, il faut que, dans un certain nombre de contentieux, un juge intervienne, avec le pouvoir de moduler la décision − donc de s’abstraire de l’automaticité que crée l’algorithme.

2122 - À la recherche de la loyauté

Le mot loyauté revient fréquemment tant dans les propos des juristes que dans ceux des spécialistes des questions d’IA, comme concept de vigilance pour les acteurs. Il revêt cependant des significations fort différentes.

La question de loyauté, entendue au sens de fairness dans la mise en œuvre de l’IA, a également son impact (§ 222). La loyauté dont il est question ici c’est celle qui, pour les juristes, constitue un principe transversal à toute action dans la mise en œuvre d’un droit. « L’attitude loyale renvoie à l’obéissance aux lois de la probité et de l’honneur. »²⁰ Souvent liée à la bonne foi, notion chère au droit civil, la loyauté est ce qui permet de conserver les règles juridiques dans une mise en œuvre collectivement considérée comme conforme à une vision sociale normale. Fréquemment évoquée dans les rapports contractuels de droit civil, dans le déroulement des procès, en droit du travail, elle trouve un écho particulier en matière d’IA. D’une part, en amont de la mise en œuvre de l’outil, elle oblige à s’interroger sur le sens de la règle avant d’en décliner les conséquences. D’autre part, en aval, elle autorise à sortir de l’outil chaque fois que la solution apportée contrarie la notion de loyauté, c’est-à-dire aboutit à une application détournée de la règle. Par rapport à l’IA, cela revient à exercer un contrôle externe de la loyauté, par opposition à la fairness qui vise à établir un contrôle interne.

Dans ce cadre, de même que le juge doit pouvoir adapter sa décision au cas spécifique qui lui est soumis, il doit également pouvoir adapter les règles applicables en fonction de certaines situations, afin que la règle ne se trouve pas détournée de fait par une application mécanique. Ainsi, le juge peut-il redresser des biais factuels, liés à une situation de contrainte, ou des biais sociaux, liés à une situation de discrimination par exemple.

2123 - Le respect du syllogisme judiciaire

Le principal obstacle à un usage généralisé de l’IA en matière de justice est clairement son incapacité à donner sens aux décisions judiciaires.

La particularité de l’intervention du juge réside en effet dans le mode de raisonnement qu’il met en œuvre. Ce raisonnement, connu sous le nom de syllogisme judiciaire, est la clé de voûte du fonctionnement de la justice tant civile que pénale. De manière simplifiée, il suppose trois étapes de réflexion dans chaque situation soumise au juge :

• examen des faits de l’espèce : c’est la « mineure » ;
   
• recherche de la règle de droit applicable à ces faits : c’est la « majeure » ;
   
• application de la règle aux faits : c’est la conclusion du syllogisme.

Le syllogisme est un concept, qui s’exprime par le biais de la motivation. La motivation est ce qui permet au lecteur du jugement de s’assurer de la réalité et du bien-fondé du raisonnement que le juge a suivi pour arrêter sa décision.

Le raisonnement syllogique doit en effet impérativement apparaître dans la décision. La motivation en assure la transparence. Elle est la garantie que la décision rendue est bien directement en lien avec le cas d’espèce et que la qualification juridique qui a été donnée à la situation est correcte. C’est qu’en effet, la légitimité du juge passe par sa capacité à donner aux éléments factuels, parfois complexes, leur inscription dans le système de règles juridiques identifiables, autrement dit à motiver sa décision. C’est ce raisonnement que la Cour de cassation, dans son rôle de juge du droit, contrôle systématiquement, restituant dans son contrôle les trois étapes du raisonnement, en rectifiant le cas échéant. D’où les formules rituelles de la Cour de cassation : « La cour d’appel, qui a constaté tels faits, a pu en déduire que la règle X était applicable, et par conséquent dire que telle sanction ou telle indemnité était due » ou au contraire : « en statuant comme elle l’a fait, alors qu’elle avait constaté tels faits, la cour d’appel, qui aurait dû en déduire que […], a violé les textes susvisés ». Ce qui compte, c’est donc bien l’application de la bonne règle de droit et non le résultat pour lequel, si le juge a correctement effectué le raisonnement syllogique, une souplesse importante est généralement laissée à son appréciation, pour tenir compte des spécificités de l’espèce²¹.

Ainsi donc, la décision judiciaire tient d’abord au raisonnement qu’elle opère, ensuite à l’adaptabilité des conclusions qui en sont tirées, le cas échéant par la mise en œuvre d’une atténuation des règles via le contrôle de proportionnalité, et seulement de manière accessoire, au résultat final, c’est-à-dire au montant des sommes allouées ou de la peine appliquée. On voit immédiatement les limites d’une application directe des algorithmes dans ces conditions, puisque les phases essentielles du raisonnement ne sont plus apparentes, voire absentes.

Les obligations de motivation apparente et de raisonnement ne sont probablement pas indispensables dans tous les cas. Il est des situations simples pour lesquelles à l’exposé de données objectives (temps de travail dans l’entreprise) peut correspondre une réponse objective précise (durée des congés payés). Ce sont des cas dans lesquels deux ou trois questions simples et récurrentes peuvent permettre d’aboutir sans risque d’erreur à une solution chiffrée.

De tels cas reposant sur un syllogisme simple peuvent d’ailleurs se prêter à une modélisation mécaniste, qui n’est précisément pas celui généralement adopté par l’IA. Le code du travail numérique (§ 3) en fournit une illustration.

Quoi qu’il en soit, il résulte de ces différents constats qu’on ne peut pas penser que l’IA pourrait totalement remplacer le juge dans ses trois fonctions essentielles tenant au raisonnement et la motivation, à l’adaptabilité, et à la loyauté. En revanche, on peut imaginer un système efficace qui permette aux différents acteurs de la justice de disposer d’informations qui les aident, les éclairent et les sécurisent.

Pour cela, un certain nombre de prérequis sont indispensables.

22 - Les prérequis d’un outil d’aide à la décision : synthèse des observations précédentes.

221 - La transparence : démythifier les algorithmes (ouvrir un peu le capot)

Tout algorithme auquel on peut souhaiter confier une tâche repose sur une série de choix en matière de représentation des observations, de mesure de similarité ou encore de critère d’optimalité (§ 13). Si ces choix ne sont pas contrôlés par l’utilisateur mais semblent automatiques, c’est simplement qu’ils sont le fait du codeur qui possède ses propres critères de détermination.

La phase d’apprentissage vise à établir une formule de classification ou de prédiction optimale au sens d’un certain critère. Du point de vue du concepteur d’algorithme ou du codeur, il importe que le problème ainsi posé soit mathématiquement maniable. Le confort mathématique constitue une première règle de choix. Ainsi, s’il s’agit de comparer deux textes à partir de la fréquence d’apparition d’une série de mots en leur sein, il peut sembler naturel de se fonder sur les écarts (positifs ou négatifs) entre ces fréquences. Pour neutraliser le signe positif ou négatif qui importe peu pour vérifier les écarts, on peut utiliser le carré de l’écart, ou sa valeur absolue. La plupart des algorithmes se fondent sur le carré de l’écart, parce qu’il présente certaines propriétés mathématiques plus agréables que la valeur absolue. L’objectif du développeur n’est certainement pas de biaiser dans un sens quelconque la définition de la typologie d’affaires de divorce que son algorithme produira, mais, inévitablement, le choix d’un critère de similarité particulier l’oriente effectivement. Les résultats fournis par l’algorithme seront différents selon qu’il aura eu recours au carré ou à la valeur absolue.

De manière plus critique, le critère mesurant l’ajustement entre une prédiction et la réponse effectivement observée joue un rôle central car il régule, de fait, le poids accordé aux différentes erreurs possibles. Ainsi, dans le cadre d’une prédiction binaire (« responsable » contre « non responsable » ou « non récidive » contre « récidive »), ce critère peut supposer que les deux erreurs (prédire « responsable » dans une situation juridique où le justiciable ne devrait pas l’être ou « non responsable » alors qu’il se trouve dans un cas juridique de responsabilité) sont également dommageables, ou au contraire accorder un poids plus important à la première. Dans le cas de la prédiction du montant d’une indemnité, selon le critère choisi, une sur-prédiction de 10 % de la pension sera, ou non, considérée comme équivalente à une sous-prédiction de 10 %. Comme ce critère détermine aussi l’objectif de l’algorithme d’apprentissage − qui cherche précisément à le minimiser −, il doit se prêter à un processus d’optimisation et, là encore, le confort mathématique préside fréquemment à son choix. Un critère présentant des propriétés souhaitables pour un problème donné pourra être écarté s’il donne lieu à des calculs trop complexes. Des méthodes fournissant des distributions de valeurs plutôt que des valeurs ponctuelles existent. Il va sans dire qu’elles se fondent également sur des mesures d’ajustements et des critères d’optimalité certes plus complexes, mais qui posent des problèmes analogues.

Ainsi donc, la connaissance précise des données choisies pour alimenter la base et le choix de critère de similarité ou d’optimalité constituent des clés essentielles du dispositif. La mise en place de l’IA ne passe pas seulement par la détermination de grandes lignes fixant le résultat à atteindre. Elle nécessite, à toutes les étapes, de prendre un certain nombre d’options qui doivent être raisonnées dans un objectif juridique. Faute de quoi, ces options, en apparence bénignes et sans intérêt, décideront, de fait, des orientations des réponses et des prédictions, sans que quiconque en ait eu conscience ou les ait pensés. Il est donc de la responsabilité des juristes de veiller à ce que chaque action opérationnelle soit interrogée dans ses conséquences.

222 - Veiller à la fairness

L’approche mimétique adoptée par la plupart des algorithmes d’apprentissages fait que, par construction, les formules de prédictions qu’ils produisent tendent à entériner les biais présents dans les bases de données qui les ont initialement alimentées. D’un point de vue statistique, le biais désigne une erreur systématique par rapport à un objectif de prédiction. De ce point de vue, les formules de prédictions souffrent a priori de biais faibles dans la mesure où les prédictions fournies sont en moyenne très proches de l’objectif.

Le biais dont il est question ici est un biais de fairness (nous employons ici à dessein le mot anglais pour le distinguer de la loyauté telle qu’elle a été définie [§ 2122]) et désigne un écart systématique entre les décisions enregistrées dans la base de données et des décisions « justes » (fair). On a ainsi constaté des biais systématiques dans les décisions de justice en fonction de l’origine sociale ou ethnique des justiciables, que des algorithmes « entraînés » sur la base de ces décisions reproduisaient fidèlement²². Il s’agit là de biais systématiques (qu’on peut donc espérer corriger par une procédure statistique), contrairement à la loyauté juridique qui se réfère, par nature, à un cas unique.

De nombreux travaux de recherche actuels dans le domaine de l’apprentissage portent sur la possibilité de détecter de tels biais et de les corriger automatiquement²³. Là encore, le caractère automatique est forcément illusoire. Notamment, la détection ou la correction d’un tel biais repose nécessairement sur une définition mathématique de la fairness²⁴. Il s’agit par exemple de s’assurer que, si les dossiers de deux justiciables diffèrent uniquement par leur origine ethnique, la réponse (i.e. la peine ou le montant de l’indemnité) fournie par l’algorithme sera effectivement la même.

La notion de fairness utilisée en IA peut ainsi compléter la notion juridique de loyauté, la première visant à corriger de tels biais au sein même de l’algorithme (reste à décider qui aurait la responsabilité de cette intervention) alors que la seconde en autorise une correction externe par l’auteur même de la décision.

223 - La nécessité d’une approche pluridisciplinaire

Évident mais essentiel, les développements ci-dessus en font la preuve, le troisième prérequis est de mettre en place pour la conception de l’outil une équipe pluridisciplinaire constituée à la fois de juristes et des spécialistes de l’apprentissage (que nous appellerons ici de manière générique informaticiens, même s’ils sont aussi statisticiens et mathématiciens), pendant une durée suffisamment longue pour que les échanges au sein de l’équipe permettent à chacun de cerner et de comprendre ce que fait l’autre. Concrètement, il ne suffit pas que les juristes fassent part aux informaticiens de leurs souhaits et que ces derniers les mettent en œuvre par des méthodes adaptées. Il s’agit de travailler ensemble à l’élaboration de l’outil pour que les juristes sachent exactement les instructions qui ont été données et que les informaticiens puissent, dans les moindres détails, faire part des choix auxquels ils sont confrontés et auxquels ils peuvent avoir une tendance à répondre par défaut.

La difficulté, en termes de moyens, est qu’une telle équipe doit pouvoir se maintenir dans la durée, en raison des multiples mises à jour que l’outil requiert. À défaut, progressivement, la mémoire des informations qui ont permis de construire la base de données au démarrage risque de se perdre, et l’outil d’échapper aux concepteurs.

On le voit, l’IA doit, pour représenter une aide efficace en matière de justice, être soumise à des contraintes permanentes, tout au long de son processus de création et de mise en œuvre.

Sous cette condition, son apport peut être considérable. On peut à cet égard évoquer l’exemple parlant et efficace du code du travail numérique, dont le fonctionnement est opérationnel depuis le 1^er janvier 2020.

31 - Le concept

Annoncé par l’article 1^er de l’ordonnance n° 2017-1387 du 22 septembre 2017 relative à la prévisibilité et la sécurisation des relations de travail, le code du travail numérique a pour objectif, selon la loi, de permettre, « en réponse à une demande d’un employeur ou d’un salarié sur sa situation juridique, l’accès aux dispositions législatives et réglementaires ainsi qu’aux stipulations conventionnelles, en particulier de branche, d’entreprise et d’établissement, sous réserve de leur publication, qui lui sont applicables ».

Il s’agit en réalité d’un outil multifonctionnel, à la fois moteur de recherche qui permet, à partir de mots-clés et de quelques renseignements de base (nom de l’entreprise, etc.), de trouver l’article du code du travail qui a vocation à s’appliquer, ainsi que le texte de la convention collective applicable de branche ou interprofessionnelle (au moins pour les cinquante plus importantes d’entre elles qui sont à ce jour dans la base de données), et boîte à outils pour ses utilisateurs (simulateurs, modèles d’actes).

Révolution pour les uns, outil basique et déceptif²⁷ pour les autres, le code du travail numérique est une utilisation de l’IA ayant pour objectif de faciliter l’accès à l’information de tous. Il permet en effet à n’importe quel usager, à partir de mots courants, d’obtenir une réponse accessible et compréhensible par tous basée sur le texte légal et conventionnel qui s’applique à sa situation. Il vise ainsi à rendre « accessible et effectif à tous » le droit du travail, selon les termes de la ministre du travail²⁸, puisque, par l’usage de mots-clés issus du langage courant, on peut trouver le texte adéquat, ce qui, s’agissant du code du travail dont l’épaisseur a souvent été évoquée, est une avancée considérable, mais plus encore lorsqu’il s’agit des conventions collectives, qui constituent pour le salarié ou même l’employeur parfois un dédale complexe.

Concrètement, le code du travail numérique est une plateforme accessible en ligne gratuitement et qui offre actuellement trois services :

• une base de données intégrant les textes du code du travail, celui des principales conventions collectives et des fiches explicatives, permettant à partir de mots-clés de français courant et non nécessairement juridique (vacances, dispute) d’obtenir le renvoi vers les documents apparaissant les plus adaptés ;

• une base de données des conventions collectives permettant de vérifier, cette fois par un système de mots-clés juridiques, une navigation dans leurs dispositions par thème et/ou par mots-clés ;

• une boîte à outils, avec notamment des simulateurs permettant le calcul d’indemnités fréquentes pouvant être calculées facilement à partir de la réponse à quelques données factuelles (indemnités de licenciement, préavis de démission, salaire brut/net, indemnité de précarité et préavis de licenciement), et des modèles de documents.

Le concept s’inscrit d’autant plus dans l’idée d’un service public qu’il prévoit que « l’employeur ou le salarié qui se prévaut des informations obtenues au moyen du “code du travail numérique” [soit], en cas de litige, présumé de bonne foi »²⁹. Par conséquent, la consultation de cette base de données offre une sécurité juridique rare à celui qui y recourt. L’enjeu est de taille : les services de renseignement en droit du travail (dans les Direccte) répondent actuellement à plus de 900 000 demandes par an concernant le droit du travail, des questions les plus simples aux cas les plus complexes³⁰. En trois mois, le code du travail numérique a d’ores et déjà suscité près de 420 000 visites³¹.

Cet outil est donc une base de données intelligente, mais n’a pas vocation à effectuer une analyse juridique. Elle peut donner une correspondance textuelle à un mot-clé, mais non aider à qualifier juridiquement des faits qui lui sont soumis. Elle peut donner le montant de l’indemnité applicable si le licenciement est sans cause réelle et sérieuse, mais elle ne peut pas dire si, au regard des circonstances, le licenciement est sans cause réelle et sérieuse. C’est, à l’évidence, une aide novatrice considérable pour l’usager, qu’il soit employeur, salarié, ou même juriste. À une question exprimée en mots « de tous les jours », il fait le lien avec le texte juridique qui règle la situation − s’il existe − et le cas échéant avec les sites officiels (par exemple ceux du service public) fournissant des explications utiles, et avec des calculateurs lorsque la demande concerne un montant salarial ou indemnitaire dépendant de données objectives (ancienneté, convention applicable, temps de travail, etc.). Mais il n’analyse pas la situation et ne donne pas de réponse juridique à des cas particuliers, ne serait-ce que parce qu’il n’intègre pas, sauf à la marge dans les calculateurs, la jurisprudence.

32 - La réalisation³²

Pour réaliser le code du travail numérique, la Direction générale du travail s’est mise en mode start-up³³, réunissant une équipe composée de juristes de la Direction générale du travail ou recrutés spécialement à cet effet et des informaticiens spécialement dédiés, qui ont travaillé ensemble, au sein d’un incubateur, durant près de deux ans. De très nombreux tests ont été organisés grâce notamment à une beta version accessible très tôt en ligne et dont les codes sont publiquement accessibles sur un dépôt Github, reprenant là les usages de la communauté de l’apprentissage automatique. Le site du code du travail numérique propose à l’utilisateur différents outils qui illustrent la distinction entre modèles mécanistes et modèles empiriques faite plus haut.

Les premiers (« boîte à outils ») proposent, par exemple, de calculer la durée d’un préavis à respecter en cas de démission ou d’estimer une indemnité de licenciement. Les mots « calcul » et « estimation » ne doivent pas être entendus au sens statistique ou au sens de l’IA. Au contraire, ces calculs et ces estimations reposent sur une approche parfaitement mécaniste : l’utilisateur est invité à répondre à une série de questions fermées qui orientent itérativement le système. L’algorithme progresse ainsi de façon déterministe au sein des textes juridiques au fur et à mesure que la situation qui lui est soumise est progressivement précisée. Le déroulement de ce processus mime donc le raisonnement juridique pour aboutir à la détermination de la règle de droit applicable en l’espèce et à l’établissement d’une (gamme de) durée ou d’une indemnité prescrite par la loi. Si la situation est particulièrement atypique, le système peut ne pas fournir de réponse et proposer de prendre contact directement avec un service juridique.

Ce travail ne relève pas de l’IA au sens usuel, mais prouve de manière remarquable qu’il est possible d’encoder le processus de décision de façon formelle et de proposer ainsi un avis dont la motivation est fournie par le déroulement même de l’algorithme. Sa réalisation repose cependant sur deux conditions assez rarement réunies dans le domaine juridique (et dans la plupart des problèmes auxquels s’attaque l’IA). Il porte tout d’abord sur un pan du droit du travail qui se prête particulièrement à la formalisation et à l’automatisation. Mais surtout, sa mise en place a demandé un travail de fourmi aux services du ministère pour effectuer l’encodage de toutes ces règles sous une forme se prêtant à un traitement automatique, et demandera de poursuivre ce même travail minutieux dans le cadre des mises à jour permanentes.

Mais le site du code du travail numérique propose également un mode d’interrogation libre (en « français facile ») des textes ayant trait au droit du travail. Il ne s’agit pas là de fournir un avis (et encore moins de rendre une décision) sur une situation ou un contentieux donné, mais, plus modestement, de guider l’utilisateur (employeur ou salarié) vers les textes ou règlements pertinents.

Les mécanismes de l’IA sont complémentaires des mécanismes de recherche traditionnels et des réponses présélectionnées par les experts en droit du travail. Le service repose en effet grandement, pour ce qui concerne son mode non contraint, sur des outils issus de l’IA et notamment des outils de traitement automatique du langage puisqu’il s’agit d’interpréter une requête formulée en langage libre (au contraire de questions fermées). Pour déterminer les textes et règlements les plus probablement pertinents, le système utilisé ici repose sur un algorithme analogue à celui utilisé par le moteur de recherche Google qui se fonde principalement sur des associations statistiques entre mots observées dans une grande base de document. Cet algorithme a, évidemment, dû être entraîné sur une base de données que les textes officiels pouvaient difficilement constituer − tant il est vrai que le langage juridique est, parfois, assez éloigné du « français facile ». Le système proposé repose notamment sur un algorithme de représentation du texte issu des laboratoires de Google et entraîné pour le français via un corpus de documents disponibles sur internet et notamment l’ensemble des pages du site Wikipédia. Le système est donc initialement fondé sur un algorithme d’apprentissage non supervisé, au sens où il propose des textes « proches » de la requête formulée. Son utilisation a, par exemple, permis de mettre en lien les termes « Pass Navigo » et « remboursement des frais de transport par l’employeur ». Le système mis en place améliore même progressivement la pertinence de ses réponses en demandant à chaque utilisateur si la réponse proposée lui a été utile, de façon semblable au processus décrit (§ 1323). Un algorithme supervisé permet alors de discriminer au mieux entre les réponses utiles et celles qui le sont moins.

Ce deuxième outil qui relève de l’IA n’est évidemment pas à l’abri des biais inhérents à tout système d’apprentissage (dépendance vis-à-vis de la base de données d’apprentissage, effet du choix de tel ou tel critère d’ajustement, etc.) mais le caractère non décisionnaire de la réponse qu’il produit réduit évidemment les conséquences de ces biais.

33 - Les perspectives

Faut-il aller plus loin dans le développement du code du travail numérique, comme certains le souhaiteraient ? Si des améliorations documentaires sont évidemment possibles, avec notamment l’accroissement du nombre d’actes types de textes de conventions de branche disponibles, la question peut être posée de la capacité à intégrer dans l’outil la jurisprudence, c’est-à-dire l’interprétation donnée aux textes par la Cour de cassation, voire de répondre, grâce à cette base de jurisprudence, à des questions plus ciblées des utilisateurs (« Puis-je être licencié pour un retard au travail ? »).

Sur le premier point, et sous réserve d’être certain de disposer d’un mécanisme permettant d’actualiser la base jurisprudentielle en temps réel, le service serait à l’évidence décuplé, sans modifier la conception même de l’outil.

Sur le second point, en revanche, la démarche serait totalement différente, qui consisterait à donner au code du travail numérique la capacité de fournir une analyse et une réponse juridique à une situation de fait évoquée par un particulier. Le pas à franchir serait dangereux, surtout à partir d’une série de questions par hypothèse trop élémentaires pour assurer la fiabilité du diagnostic.

L’outil que constitue le code du travail numérique est précieux et unique en termes d’accès à l’information. S’il ne vise pas à proposer une décision, il permet d’orienter un utilisateur non expert dans un domaine dont il n’est pas nécessairement familier, ce qui est déjà beaucoup. Certes, il limite volontairement ses ambitions « prédictives » à un champ particulièrement balisé et quantifiable du droit du travail et repose, pour cela, sur une approche résolument mécaniste, ne faisant donc pas une confiance aveugle aux algorithmes issus de l’IA.

Vouloir élargir son ambition prédictive le dénaturerait et présenterait des garanties nettement moindres.

Dans la conception, il n’y a pas de neutralité, il n’y a que des choix, ne serait-ce que par défaut dans la mise en œuvre, qui nécessitent de s’interroger sur la ligne d’équilibre que l’on veut établir entre réponse sécurisée tout numérique et réponse réellement adaptée dont l’acteur reste encore le meilleur garant. Le concept de loyauté, quoique différemment entendu par les mathématiciens et les juristes, peut aider, voire obliger, à tracer cette frontière.

Il nous faut admettre qu’en matière de justice, l’IA peut considérablement aider dans l’accès à l’information mais ne peut pas remplacer l’intervention de l’homme. Et que, dans ce domaine plus que tout autre, seule une vraie compréhension croisée des données et des enjeux par un dialogue fort entre ceux qui peuvent concevoir et ceux qui peuvent utiliser est fondamental… et possible. Cette interaction sera évidemment facilitée si les professionnels des deux champs sont avertis de ces enjeux dès leur formation initiale, voire qu’une fraction d’entre eux s’y spécialisent.

Prédire n’est pas une fin en soi − sinon la conclusion serait simple : les algorithmes peuvent évidemment permettre de prédire, et mieux que tout humain, mais pourquoi ? − dès lors qu’on ne sait pas comment la prédiction est faite et pourquoi on la souhaite. La motivation de la décision fait partie de la décision elle-même et fonde sa légitimité.

À défaut de replacer le juge dans sa prise de décision, il pourrait être tentant d’accorder aux prédictions algorithmiques la même valeur que celle accordée aux avis d’expert. Mais ce serait, d’une part, sous-estimer l’effet d’intimidation produit par un résultat « mathématique » qui rend difficile de ne pas s’y soumettre le plus souvent. Ce serait, d’autre part, oublier qu’un expert peut être interrogé sur le raisonnement ou la méthodologie qui l’a amené à son avis, interrogations auxquelles un algorithme sera bien en peine de répondre.

À l’inverse, pour les tâches qu’on décide de lui confier, l’IA nécessite une totale maîtrise de sa conception. Aucun espace ne peut être laissé à des choix de conception par défaut, par facilité, par habitude pour l’informaticien. Il va bien falloir que les juristes en aient conscience et s’emparent de l’outil pour que l’IA leur obéisse et non l’inverse.

Pour cela, s’immerger dans la compréhension du fonctionnement est une responsabilité des juristes, et des décideurs du monde judiciaire. Sous cette condition, l’apport de l’IA dans la justice peut être une avancée considérable et un progrès qui ne le sera pas moins.

1. Décr. n° 2020-356, 27 mars 2020, JO 29 mars, v. Dalloz actualité, 1^er avr. 2020, art. P. Januel. Certains pensent qu’il s’agit d’anticiper les multiples recours juridiques des malades du covid.

2. Une réflexion déjà largement amorcée depuis plusieurs années par de grands auteurs de la pensée judiciaire. À cet égard, les auteurs de ces lignes remercient très vivement Antoine Garapon pour les échanges auxquels il a bien voulu participer et qui ont grandement nourri cet article.

3. J. Boulouis, « Quelques observations à propos de la sécurité juridique », in Du droit international au droit de l’intégration. Liber amicorum : Pierre Pescatore, Nomos Verlag, 1987, p. 53, cité par J.-G. Huglo, Dossier : Le principe de sécurité juridique, Cah. Cons. const. 2001, n° 11.

4. Présumée dès 1950 du XX^e siècle par le philosophe et juge américain Jérôme Franck (Court of trial, 1950), l’incidence du repas ou de la faim sur la décision du juge a été établie par une étude parue dans la revue Proceedings of the national Academy of Science (PNAS) (v. la traduction : S. Danziger, J. Levav et L. Avnaim-Pesso, « Qu’a mangé le juge à son petit-déjeuner ? » De l’impact des conditions de travail sur la décision de justice, Cah. just. 2015. 579 ). Les auteurs de l’étude ont étudié plus de 1 000 décisions faisant suite à des demandes de liberté conditionnelle prises par huit différents juges en Israël sur une période de dix mois. Les juges ont jugé de 14 à 35 cas par jour en trois sessions : une du début de la journée à une pause snack au milieu de la matinée, une deuxième de la pause du matin à la pause déjeuner et une troisième de la pause déjeuner à la fin de la journée. De manière générale, les juges ont eu davantage tendance à accepter les demandes de liberté conditionnelle au début de la journée qu’à la fin, et les chances de voir sa demande acceptée étaient même doublées quand l’affaire était jugée en début de session plutôt qu’en fin de session. En fait, le nombre de cas qu’un juge avait à traiter au cours d’une session affectait de manière significative ses décisions. Les huit juges étudiés ont suivi le même schéma, et ont refusé au total 64,2 % des demandes.

5. Doss. Des juges sous influence, Cah. just. 2015. 501 s.

6. A. Philippe, Vous jurez de n’écouter ni la haine ou la méchanceté… Les biais affectant les décisions de justice, Cah. just. 2015. 563 .

7. Fait de surévaluer ses capacités par rapport à la moyenne. Les auteurs de l’étude constatent que 56 % des juges pensent être dans le quart des juges les moins infirmés en appel, et 88 % pensent être dans la meilleure moitié, ce qui est mathématiquement impossible. Les biais affectant les décisions de justice, art. préc.

8. K. Diallo, Une intelligence artificielle tente de corriger les biais racistes dans la justice, Le Figaro, 13 juin 2019.

9. La question de la jurisprudence, telle qu’issue principalement des décisions de la Cour de cassation, n’est pas posée ici.

10. Conseil consultatif des juges européens (CCJE), avis n° 11 (2008), à l’attention du Comité des ministres du Conseil de l’Europe sur la qualité des décisions de justice ; N. Fricero, « La qualité des décisions de justice au sens de l’article 6, § 1, de la Convention européenne des droits de l’homme », art. préc., p. 56 ; dans le même sens, un auteur relève que la motivation est « une garantie essentielle pour le justiciable, car elle est destinée à le protéger contre l’arbitraire du juge », v. J.-P. Ancel, La rédaction de la décision de justice en France, RID comp. 1998. 852.

11. Dans une étude de janvier 2014 commandée par le ministère de la justice, 95 % des Français font à la justice le reproche de sa lenteur.

12. Des Guêpes d’Aristophane au Procès de Kafka, en passant par La Farce de maître Pathelin ou Les Plaideurs de Balzac.

13. En 2017, le délai moyen pour obtenir une décision de justice était de neuf mois devant le juge administratif, de six mois devant le juge d’instance, de sept mois devant le tribunal de grande instance, de quinze mois devant le conseil de prud’hommes et de treize mois devant la cour d’appel.

14. 8 313 magistrats en France en 2017, soit 11,9 juges pour 100 000 habitants, ce qui fait de la France l’un des pays les moins bien dotés en Europe, selon une étude du Conseil de l’Europe, 84 969 agents, pour 2 609 394 décisions en matière civile et commerciale et 1 180 949 décisions en matière pénale.

15. B. Dondero, La justice prédictive, Le blog du professeur Bruno Dondero.

16. Rapport d’information fait au nom de la Commission des lois sur « le redressement de la justice », Sénat, n° 795, 4 avril 2017, p. 139 s.

17. D’où l’usage des guillemets lors de l’emploi de ce terme jusqu’ici.

18. D.M. Blei, A.Y. Ng et M.I. Jordan (2003). Latent dirichlet allocation. Journal of machine Learning research, 3(Jan), 993-1022.

19. L. Godefroy, F. Lebaron et J.L. Vehel, Comment le numérique transforme le droit et la justice vers de nouveaux usages et un bouleversement de la prise de décision. Rapport de recherche, 2019.

20. W. Cherbonnier et al., La loyauté : de la règle morale au principe juridique, Rev. jur. Ouest 2012. 327.

21. V. sur ce point l’analyse de H. Motulsky sur le rôle du juge : la distinction du fait et du droit, mise en œuvre par le syllogisme judiciaire, est la pierre angulaire de l’intervention du juge dont la mission est d’identifier la norme juridique applicable, sans s’en tenir aux fondements juridiques ou aux qualifications proposées par les parties. « Le juge peut et doit rectifier les erreurs de droit commises par les parties, à la seule condition de ne point modifier l’objet ni la cause de la demande, autrement dit de ne pas introduire dans le débat de nouveaux éléments de fait », H. Motulsky, Le rôle respectif du juge et des parties dans l’allégation des faits, rapport au IV^e Congrès international de droit comparé, 1954, in Écrits. Études et notes de procédure civile, 2^e éd., Dalloz, coll. « Bibliothèque », 2010, p. 49 s.

22. J. Dressel et H. Farid, The accuracy, fairness, and limits of predicting recidivism, Science advances, 2018, 4(1), eaao5580 ; P. Besse, C. Castets-Renard et A. Garivier, Loyauté des décisions algorithmiques. Contribution au débat public initié par la CNIL, Éthique et numérique, 2017 ; P. Besse, C. Castets-Renard, A. Garivier et J.M. Loubes, L’IA du quotidien peut-elle être éthique ?, 2018.

23. S. Barocas, M. Hardt et A. Narayanan, Fairness in machine learning, NIPS Tutorial, 2017.

24. P. Gajane et M. Pechenizkiy, On formalizing fairness in prediction with machine learning, 2017.

27. P. Januel, Codification, bilan des travaux en cours et perspectives, Dalloz actualité, 26 juin 2018 : « Pour la commission supérieure de codification, l’appellation de code à ce qui n’est qu’un service interactif est impropre. Elle trouve préoccupant le “galvaudage” du label code. »

28. Conférence de presse du 16 janv. 2020 pour le lancement du code du travail numérique.

29. Ord. n° 1387-2017, 22 sept. 2017, art. 1^er, al. 2.

30. Source : ministère du travail.

31. Source : ministère du travail.

32. Les auteurs remercient le directeur général du travail, M. Yves Struillou, le directeur adjoint, M. Laurent Villboeuf, et la cheffe de projet à la direction générale du travail, M^me Catherine Lissarague, de leur avoir permis d’observer in situ la conception du code du travail numérique au cours de l’année 2019 et de leur avoir donné accès à tous les documents sur la conception de l’outil.

33. J.-F. Kerléo, « Le service public en mode start-up », AJDA 2020. 83 .