(Cet épisode fait partie de la série "
Dynamique et ressort de l'intelligence artificielle".)
Épisode précédent :
Vers un troisième « hiver de l'IA » ?
La qualité des données
Les difficultés rencontrées par Watson dans le diagnostic du cancer s’expliquent par le caractère artificiel de la base de données sur laquelle il avait été étalonné :
« Most of the data fed to it is hypothetical and not real patient data. That means the suggestions Watson made were simply based off the treatment preferences of the few doctors providing the data, not actual insights it gained from analyzing real cases. »
(Angela Chen, « IBM’s Watson gave unsafe recommendations for treating cancer », The Verge, 26 juillet 2018.)
Le problème est général : qu’il s’agisse des symptômes ou des diagnostics, beaucoup de bases de données sont sujettes à des biais racistes, sexistes ou autres, qui altèrent la couverture du domaine considéré, et aussi à des erreurs de codage ou à des lacunes dans l’observation de certains attributs
17. Comme « garbage in, garbage out » ces défauts vont se retrouver dans les résultats que fournit l’IA.
Alors que le « Big Data » semble mettre toutes les données à disposition, seule une minorité d’entre elles est d’une qualité suffisante pour alimenter une IA. L’insouciance trop répandue concernant la qualité des données sera la cause de nombreuses erreurs et difficultés :
« I make my living from data, yet I consistently find that whether I’m talking to students or clients, I have to remind them that data is not a perfect representation of reality: It’s a fundamentally human construct, and therefore subject to biases, limitations, and other meaningful and consequential imperfections. »
(Andrea Jones-Rooy, « I’m a data scientist who is skeptical about data », Quartz, 24 juillet 2019.)
L’interprétation des résultats
Comme l'analyse des données, l’IA la plus pointue ne fait qu'
explorer des corrélations. Des « interprétations » qui s'appuient sur la seule statistique seront erronées ou naïves : les corrélations ne sont que des
indices qui, comme dans une enquête policière, orientent vers la compréhension mais ne suffisent pas pour l'atteindre.
La tentation est cependant forte : Jean-Paul Benzécri a prétendu ainsi que l'analyse des données révélait « le pur diamant de la véridique nature
19 ». Dans un livre consacré au
Big Data et qui a eu beaucoup d’influence des essayistes ont érigé cette erreur en principe :
« Move away from the age-old search for causality. As humans we have been conditionned to look for causes, even though searching causality is often difficult and may lead us down the wrong paths. In a big data world, by contrast, we won't have to be fixed on causality; instead we can discover patterns and correlations in the data that offer us novel and invaluable insights. The correlation may not tell us precisely why something is happening, but they alert us that it is happening. »
(Viktor Mayer Schönberger et Kenneth Cukier, Big Data, Eamon Dolan/Mariner Books, 2014.)
Pour pouvoir interpréter les résultats d’une IA il faut en fait posséder une bonne connaissance de la
théorie du domaine observé, car celui qui ignore la théorie tombera fatalement dans quelqu'une des naïvetés que l'expérience des théoriciens a depuis longtemps repérées : une théorie, c'est le trésor des interprétations antérieures condensé sous la forme de liens de causalité entre les concepts – trésor qu'il faut souhaiter exempt du pédantisme et de l'étroitesse qui sont pour la théorie autant de maladies. L'observation dont les données résultent s'appuyait d'ailleurs elle-même sur une théorie (parfois implicite) qui lui a fourni ses concepts et dont il convient d'avoir au moins une intuition.
L’IA et l’action
« AI is great at applying "specific knowledge" and very poor at applying "general knowledge". Specific knowledge relates to rules, decision trees and algorithms that the system uses to process large amounts of data come up with specific recommendations or warnings. Whereas, general knowledge relates to general situational awareness. »
(Peter Green, « The Failure Of Artificial Intelligence In Manufacturing », Manufacturing.net, 10 avril 2017).
L’ordinateur est fait pour accomplir tout ce qui est programmable. Pour qu’un processus soit programmable il faut qu’il puisse être élucidé, prévisible et prévu. La programmation se construit donc dans le « petit monde » rationnel que délimite une grille conceptuelle et qui suppose aussi des hypothèses car l’action, visant toujours un résultat, postule nécessairement une causalité.
Chaque spécialité professionnelle a son langage et ses méthodes, faits pour accomplir efficacement l’action quotidienne et dont la maîtrise s’acquiert par la formation et l’expérience (d’un médecin, d’un militaire, d’un architecte, etc.). L’organisation d’une institution définit elle aussi un langage et des méthodes ainsi que la structure des pouvoirs de décision légitimes.
Le « petit monde » rationnel d’une spécialité ou d’une institution agit à travers le corps de professionnels qui l’ont assimilé jusque dans leurs réflexes. Informatiser l’action suppose d’expliciter la rationalité enfouie dans des habitudes.
Turing a cependant évoqué «
the inadequacy of "reason" unsupported by common sense » : cela nous invite à élargir la réflexion.
Si le « petit monde » rationnel d’une spécialité, d’une institution, d’une entreprise, fournit les concepts et hypothèses favorables à l’efficacité, c’est en faisant abstraction de la
complexité illimitée du
monde réel sur lequel et dans lequel cette institution ou cette entreprise agissent. Or l’
existence du monde réel se manifeste par des phénomènes étrangers au « petit monde » de la rationalité : pannes, incidents, accidents, comportements imprévisibles, rencontre enfin avec des êtres (clients, fournisseurs, partenaires) dont le langage est celui d'un autre « petit monde ».
Une extension de la raison est donc nécessaire pour pouvoir
vivre dans le « monde réel » et non plus seulement dans un « petit monde » rationnel : nous nommerons la raison ainsi étendue « raison raisonnable » pour la distinguer de la « raison rationnelle ».
On rencontre cette raison raisonnable chez les stratèges et les entrepreneurs : confrontés à une situation sur laquelle ils n’ont qu’une information partielle et parfois fallacieuse, ils exercent sur le monde réel une vigilance périscopique qui leur procure le « coup d’œil » et leur permet de prendre intuitivement des décisions judicieuses malgré les incertitudes.
Dans les entreprises, des « animateurs » complètent eux aussi la raison rationnelle par le « bon sens » de la raison raisonnable : ils règlent les incidents dans la foulée et sans faire d’histoire, aident leurs collègues en cas de difficulté, créent la « bonne ambiance » qui donne une « âme » à l’institution
21, etc.
Chacun est ainsi invité à cultiver deux formes de la raison : tandis que l’action professionnelle quotidienne, dont les habitudes et réflexes s’appuient sur des concepts et méthodes acquis lors d’une formation, bénéficie de la clarté de la raison rationnelle, la « raison raisonnable », vigilante, est attentive à prendre en compte les phénomènes du monde réel et complexe sur lequel l’action professionnelle agit et dont elle reçoit les effets.
L’informatique et l’IA ont vocation à prendre en charge le travail répétitif, l’action réflexe et en définitive tout ce qui, étant programmable, relève de la raison rationnelle. Dans une économie informatisée les humains doivent consacrer leur attention, leur activité, à ce qui n’est pas répétitif : surveiller le monde réel, interpréter une situation, répondre à un imprévu, prendre une initiative, manifester une créativité, etc.
En ce sens
l’IA nous libère : n’a-t-on pas assez déploré l’aliénation que provoque une action répétitive ?
L’IA risque cependant de subir de nouveau l’hiver qui suit l’éclatement d’une bulle spéculative. Ce ne serait en un sens que justice tant les annonces et attentes ont été excessives. Des expressions comme « intelligence artificielle », « réseau neuronal », « apprentissage profond », etc. ont malencontreusement fait éclore dans le grand public, les médias, ainsi que chez les dirigeants de la politique et des entreprises, des images dont la puissance suggestive est sans rapport avec la réalité scientifique, technique et pratique, et éveillé tout un monde de chimères dont la plus suggestive est la « singularité
22 » de Kurzweil.
Les coupables ne sont pas les spécialistes et praticiens de l’intelligence artificielle, qui savent exactement de quoi il s’agit, mais des essayistes amateurs de science-fiction qui se sont laissé entraîner par leur imagination, des médias avides de sensationnel et aussi, il faut le dire, des charlatans vendeurs de « snake oil »: « Companies advertising AI as the solution to all problems have been helped along by credulous media », « Much of what’s being sold as "AI" today is snake oil. It does not and cannot work
23 ».
Arvind Narayanan estime que la troisième IA est :
- efficace et en progrès rapide pour le diagnostic, qui doit cependant être complété par une interprétation : reconnaissance d'images, reconnaissance faciale, diagnostic médical, transcription écrite de la parole, repérage des « deepfakes ». Certaines de ces applications posent cependant des problèmes d'éthique ;
- imparfaite mais en progrès pour l'automatisation de l'évaluation : détection des spams, « hate speechs » et plagiats, diffusion sélective, etc. Des erreurs étant inévitables, ces applications demandent un contrôle humain attentif ;
- inadéquate pour la prédiction qu'il s'agisse de la récidive pour les criminels, de la performance d'un salarié, du risque terroriste, du comportement futur d'un enfant, etc. : les résultats sont douteux et posent en outre d'évidents problèmes d'éthique.
En rejetant les chimères nous risquons cependant de rejeter aussi ce que l’IA apporte de précieux : une réflexion sur le fond s’impose.
Épisode suivant :
Éthique de l’IA
___
17 Caliskan, A., Bryson, J. J. et Narayanan, A., «
Semantics derived automatically from language corpora contain human-like biases »,
Science, 356, 2017.
19 Jean-Paul Benzécri,
L’analyse des données, Dunod, 1984.
21 « Une étude de l'ESCP sur près de 300 entreprises démontre que 9 % des collaborateurs s'arrachent pour faire avancer les choses, 71 % n'en ont rien à faire et 20 % font tout pour empêcher les 9 % précédents d'avancer » (Georges Épinette,
Antémémoires d’un dirigeant autodidacte, CIGREF et Nuvis, 2016).
22 Ray Kurzweil,
The Singularity is Near, Viking, 2005.
23 Arvind Narayanan, «
How to recognize AI snake oil »,
Princeton University, 18 novembre 2019.