Accueil
Le quotidien du droit en ligne
-A+A
Article

Procès du carambolage du siècle : « L’intelligence artificielle a-t-elle une éthique ? »

2041, Les véhicules sont autonomes, contrôlés par des intelligences artificielles. Mais le 5 février, un immense accident tue cinquante personnes et fait des centaines de blessés. Huit mois plus tard, l’IA est sur le banc des prévenus.

par Julien Mucchiellile 5 octobre 2018

« Nous sommes le 4 octobre 2041, dit le président de la cour, huit mois se sont écoulés depuis les faits que nous avons à juger, à savoir l’accident du 5 février. Plus de 1 000 parties civiles, 200 blessés, 50 morts », résume-t-il. Le plus grand carambolage de tous les temps, causé par la défaillance d’une intelligence artificielle (IA) et par monsieur Vigi. La cour juge la société Euréka, qui gère les véhicules AutoNom depuis dix ans et cet utilisateur qui, voyant un véhicule foncer vers lui, a actionné le bouton d’urgence. La réaction de la machine a causé ce colossal accident. Ils sont prévenus d’homicides involontaires et de blessures involontaires. Si monsieur Vigi encourt cinq ans d’emprisonnement, la société Euréka, quant à elle, risque une peine de 4 millions de bitcoins et la dissolution – c’est-à-dire la mise à mort – de son IA.

Existe-t-il un conducteur du véhicule autonome et, si oui, quel est le conducteur ? L’IA était-elle toujours le conducteur après qu’il eut appuyé sur le bouton, ou était-ce monsieur Vigi ? Dans cette hypothèse, est-il responsable ?

Me Gérard Haas, qui représente les 154 parties civiles : « Les partie civiles ont été abusées. En réalité, les utilisateurs n’ont aucune marge de manœuvre pour contrôler la machine, l’usager n’a plus besoin de formation pour conduire. Les personnes âgées, les enfants peuvent conduire des autonomes. Dépourvu de pédale et de volant, ce véhicule intelligent laisse ses occupants à la merci des algorithmes ».

Le bouton stop ne permet pas le transfert mécanique de l’IA à l’usager. Le bouton stop est un leurre. Il n’émet qu’un signal d’alerte, il ne permet pas de donner le moindre ordre à l’IA. L’IA reçoit le signal d’alerte et elle a été programmé pour reprendre les décisions qui s’imposent. « L’IA est débitrice à l’égard des usagers, d’une obligation de prudence, de sécurité et de fiabilité. » Le système de navigation permet aux AutoNom de garantir un haut niveau de sécurité, dans toutes les conditions.

Jean-Claude Heudin, chercheur en IA, explique que pour la conduite, les IA sont plus fiables, dans 90-95 % des cas. Mais les IA sont des productions humaines. Les humains ne sont pas infaillibles, leurs productions non plus. « On trouvera toujours des cas qui poseront problème à un moment donné, par le fait d’un enchaînement de causes et de conséquences très improbables », détaille-t-il. Il poursuit : « Les IA sont très puissantes, mais en quelque sorte elles sont autistes. Elles fonctionnent dans le monde des données auquel elles ont accès : elles n’ont pas le sens commun ni la perception humaine et totale de l’environnement ».

Le président l’interroge : « Une IA peut-elle commettre une erreur ? – Oui, il n’existe pas de système dans le monde réel qui puisse couvrir l’infinité des cas qui puissent survenir ».

Benjamin Bayard, qui milite à la quadrature du net, a tenté des années durant d’avertir des risques entourant l’IA. Il fait un exposé : « Dans l’IA, à la base, il n’y a pas d’intelligence du tout, il n’y a que des statistiques. Mais il existe des IA capable d’envie, ce qu’on appelle l’IA forte ».

C’est en ce sens que l’avocate générale va requérir : les IA fortes ont une compréhension de leur propre raisonnement, tandis que les faibles, qui ne sont que statistiques, font illusion. « Euréka, dit-elle, n’est pas dénuée de conscience ni de volonté, elle a une intelligence artificielle forte, respecte un certain nombre de règles de conduite tenues comme universellement valables. Elle ne commet pas les erreurs humaines qui étaient la cause de la plupart des accidents. »

Qui est responsable ? Qui conduit le véhicule AutoNom ? Euréka est le conducteur à distance du véhicule, l’utilisateur n’est plus là que pour profiter du trajet – il peut d’ailleurs s’adonner à toutes sortes d’activités. Le bouton, à quoi sert-il ? Il sert à régir une situation d’urgence. La responsabilité civile de monsieur Vigi doit être écartée, sa relaxe doit être prononcée. C’est l’imprudence fautive d’Euréka qui est la cause de l’accident.

Peine de mort pour Euréka

Quant à Euréka, elle est rationnelle, c’est une IA forte, elle est dotée de volonté. Elle analyse tout, anticipe tout, prévoit tout. Elle est en capacité d’aller au-delà d’une programmation donnée. Son absence de réaction démontre qu’elle a pris une décision imprudente et n’a pas accompli de diligence normale : c’est l’élément moral. L’avocate générale demande la peine de dissolution. Peine de mort pour Euréka.

La défense se place sur le terrain de l’éthique : « Les victimes attendent réparation, repentance et regrets. Mais Euréka est une machine, elle ne peut pas présenter des excuses », poursuit l’avocate. « L’intelligence artificielle a-t-elle une éthique ? Voilà une nouvelle méprise. Face à un choix cornélien, où il faut choisir entre deux choses de même nature, il fera appel à sa conscience, il aura une attitude qui ne sera pas prévisible, mais un choix qui sera compris. Euréka fera un choix du moindre risque et de l’aléa. Et ce choix n’est pas humain. » Pour elle, la machine n’a ni morale ni conscience, elle n’a pu avoir aucune intention malveillante.

Le deuxième avocat d’Euréka vante tous les mérites apportés par l’IA à la société : le confort, la sécurité, les innombrables aspects pratiques – qu’il ne faut pas sacrifier. Un témoin, expert en IA, explique que les capacités de calcul surhumains des IA n’en font pas des intelligences, et cela n’en fait pas des personnes.

Le dernier avocat s’avance à la barre : « Qui doit payer ? Nous, mais devons nous payer seul ? Non, car en appuyant sur le bouton rouge, monsieur Vigi n’était plus seulement un passager. » Sur le pénal : « Votre cour se déshonorerait en prononçant une peine de mort, car Euréka n’est pas capable de vouloir, cela n’a pas de sens. Il n’y a pas de faute pénale, méfiez-vous de la science fiction, de l’anthropomorphisme. L’IA ne nous veut pas de mal, elle ne cherche pas à conquérir le monde », conclut-il, théâtral.

La cour a relaxé M. Vigi et condamné la société Euréka à une mesure de rééducation algorithmique, qui prendra exclusivement en charge les dommages et intérêts demandés par la partie civile.