Ethique de l'IA

(Cet épisode fait partie de la série "Dynamique et ressort de l'intelligence artificielle".)

Épisode précédent :  Place de l'IA dans l'informatisation

Des dangers illusoires sont évoqués à propos de l’informatisation et de l’IA : « trop d’information tue l’information », « l’automatisation supprime les emplois », etc. Depuis des siècles cependant les lecteurs doivent choisir leurs lectures parmi de nombreux livres, et par ailleurs l’informatisation n’a fait apparaître aucune inflexion dans les statistiques de l’emploi.

Le plus grand danger de l’IA réside cependant dans la possibilité d’estimer le diagnostic porté sur une personne à partir du constat de quelques symptômes, car elle offre au dictateur paranoïaque d’un régime totalitaire l’arme absolue de la répression. Les indiscrétions commises par la NSA²⁴, la systématisation de la reconnaissance faciale et de l’observation des comportements en Chine, sont autant de manifestations de ce danger²⁵.

Un autre danger réside dans une articulation défectueuse entre l’action humaine et l’automatisation, qui peut conduire à des catastrophes comme celle du Boeing 737 Max²⁶ :

• les directions générales sont souvent tentées de programmer l’action des agents humains comme s’ils étaient des automates, les privant ainsi du droit à l’initiative et à l’exercice de la raison raisonnable ;
  
• les concepteurs d’un système d’information sont, symétriquement, souvent tentés de programmer la réponse de l’ordinateur à tous les incidents et accidents prévisibles, ce qui conduit leur projet à l’échec comme ce fut le cas pour le projet Louvois de calcul de la rémunération des militaires de l’armée française²⁷.

Nous rencontrons ici des exigences éthiques. Pour les éclairer, il est utile de se rappeler que le mot « informatique » fusionne les mots « information » et « automate », en prenant le mot « information » au sens que lui donne Gilbert Simondon :

« L'information n'est pas une chose, mais l'opération d'une chose arrivant dans un système et y produisant une transformation. L'information ne peut pas se définir en dehors de cet acte d'incidence transformatrice et de l'opération de réception » (Gilbert Simondon, Communication et information, Éditions de la transparence, 2010, p. 159).

L’« information » est de ce point de vue le phénomène qui se produit lorsque la rencontre d’un document donne, à un système ou une personne capables de l’interpréter, la « forme intérieure » qui leur procure une capacité d’action. L’informatisation a ainsi fait émerger un être nouveau, le « cerveau d’œuvre » qui a vocation à remplacer la main d’œuvre dans l’emploi : après la symbiose de l’être humain avec la parole, puis avec l’écriture, notre époque réalise sa symbiose avec l’ordinateur qui a été prévue dès la fin des années 50 par le psychologue Joseph Licklider :

« The hope is that, in not too many years, human brains and computing machines will be coupled together very tightly, and that the resulting partnership will think as no human brain has ever thought and process data in a way not approached by the information-handling machines we know today. »
(Joseph Licklider, « Man Computer Symbiosis », IRE Transactions on Human Factors in Electronics, mars 1960).

L’organisation d’une institution doit pour être efficace assurer une synergie des cerveaux d’œuvre dans l’action collective. Cela suppose une réflexion approfondie²⁸ sur les conditions pratiques de la mise en œuvre de l’intelligence « à effet différé » incorporée dans les programmes informatiques et associée dans l’action à l’intelligence « à effet immédiat » des agents opérationnels : elle implique d'automatiser ce qui doit l'être et seulement ce qui doit l'être. Cette réflexion est cependant trop rare, car les entreprises adhèrent encore à une forme d'organisation désuète :

« Les approches bureaucratiques ignorantes de la nature du travail cherchent à éliminer toute pensée, activité coûteuse dont la rentabilité n'est pas immédiatement perceptible. D'où l'échec que le « perfectionnement » des procédures ne fera qu'amplifier. L'application trop systématique d'idées parfaitement logiques peut engendrer des catastrophes » (Laurent Bloch, Systèmes d'information, obstacles et succès, Vuibert, 2005).

Rares sont actuellement les entreprises qui articulent raisonnablement les deux formes de l'intelligence²⁹ : la plupart des « systèmes d'information » présentent des défauts évidents³⁰ :

• la qualité des données est défectueuse et leur signification est altérée par des synonymes et des homonymes : c'est comme nous l'avons vu un des plus grands obstacles pour l'IA ;
• l'informatisation des processus se limite trop souvent à graver dans le marbre les défauts du processus existant (erreurs d'adressage, délais aléatoires dus à des piles LIFO (Last In, First Out.) sur les bureaux, redondances, etc.) ;
• enfin et surtout le contrôle du travail est poussé à l'extrême, stérilisant l'initiative et la responsabilité des agents :

« Théoriquement l'informatisation devait faciliter le travail, mais en réalité elle a poussé les managers à opprimer les agents opérationnels avec des contrôles et une optimisation continus. Les ordinateurs, robots et algorithmes ne sont pas à notre service, c'est nous qui devons les servir. Ils mesurent tout ce que nous faisons et calculent pour voir s'il est possible de nous exploiter encore davantage. Les managers se focalisent sur l'idée de produire ou livrer les biens et les services plus rapidement et pour un moindre coût. Mais on ne mesure que ce qui est mesurable. On ne sait pas quantifier la qualité de la relation des agents avec les clients : établir la confiance demande du temps. Tout exprimer sous la forme de règles et de normes, cela empêche assurément l'innovation³². » (Gunter Dueck, « Sklaven der Prozesse », Der Spiegel, 8 février 2020.)

Tout se passe comme si notre époque, notre société, nos institutions refusaient de comprendre le phénomène de l'informatisation : elles le masquent en utilisant un vocabulaire inexact (« numérique », « digital »), elles refusent de redéfinir la mission et l'organisation des institutions, elles refusent aussi de se plier aux conditions nécessaires de l'efficacité dans un monde que l'informatique a transformé. L'intelligence artificielle, telle qu'elle s'est déployée en plusieurs étapes séparées par autant d'« hivers », est l'une des manifestations les plus hardies, les plus inventives de l'informatisation. Les difficultés qu'elle rencontre ne peuvent être comprises et surmontées que si on sait les situer et les interpréter en revenant à l'intuition fondatrice de Turing et dans le cadre conceptuel plus général de l'informatique.

Épisode suivant : Futur de l'IA
 ___  
²⁵ CNIL, « Reconnaissance faciale : pour un débat à la hauteur des enjeux », 15 novembre 2019.
²⁶ Jack Nicas, Natalie Kitroeff, David Gelles et James Glanz, « Boeing Built Deadly Assumptions Into 737 Max, Blind to a Late Design Change », The New York Times, 1er juin 2019, .  
²⁷ Philippe Reltien, « Des milliers de soldats français endettés à cause de Louvois, leur logiciel de paie », France Culture, 26 janvier 2018.  
²⁸ Michel Volle, iconomie, Economica, 2014.  
²⁹ Gunter Dueck, Heute schon einen Prozess optimiert? Das Management frisst seine Mitarbeiter, Campus, 2018.  
³⁰ Michel Volle, « Système d'information », Encyclopédie des techniques de l'ingénieur, juillet 2010, .  
³² « Theoretisch sollte die Digilitasierung uns das Arbeiten erleichtern, aber in der Realität führt sie dazu, dass das Management seine Mitarbeiter mit Dauerkontrollen on ständiger Optimierung quält. Die Computer, die Roboter und Algorithmen dienen nicht uns – wir dienen ihnen. Sie messen alles, was wir tun, und berechnen, wie sie noch mehr aus uns rausholen können. Die Manager sind fixiert auf die Idee, Produkte oder Dienstleistungen immer schneller und billiger herzustellen oder zu liefern. Aber es wird eben nur das gemessen, wa messbar ist. Es lässt sich nicht quantifizieren, ob die Chemie zwischen Mitarbeiter und Kunden stimmt : Vertrauen braucht Zeit. Wird alles in Normen und Regeln gepresst, verhindert das zuverlässig jede Innovation. »