Aller à la navigation Aller au contenu

6 raisons de laisser les algorithmes gérer les risques… Ou pas !

Depuis quelques années, les algorithmes se développent massivement dans les moindres aspects de notre vie. Ces derniers ne cessent de nous surprendre en nous proposant des services toujours plus adaptés à notre mode de vie. Les big data qu’ils absorbent améliorent chaque jour la précision des analyses prédictives. De fait, il devient de plus en plus rentable de leur déléguer un peu du travail des humains, notamment en matière de gestion des risques. Mais déléguer notre sécurité à des machines, est-ce sans risque, justement ? Ce questionnement était l’objet du Tribunal pour les Générations Futures qui a eu lieu à la Maison de l’Amérique Latine le 11 octobre dernier, organisé par l’assureur FM Global, autour de la question : Faut-il laisser les algorithmes gérer les risques ?

 

Tommy dessine©

 

L’intelligence artificielle peut potentiellement nous sauver la vie : l’exemple des progrès
techniques en matière automobile est particulièrement probant, qu’il s’agisse du freinage
d’urgence, du GPS ou encore de l’aide au stationnement. Ces technologies surpassent en
compétences et savoirs le plus doué des êtres humains, d’autant plus qu’elles ne risquent pas de se laisser parasiter par des aléas comme l’énervement des embouteillages ou la fatigue d’une longue journée. Cette efficacité redoutable se retrouve dans d’autres domaines : par exemple, les logiciels sont aujourd’hui si performants qu’il existe des algorithmes permettant de prédire si vous allez divorcer, uniquement à partir de l’analyse de l’activité de votre carte de crédit. De là à accepter de voir vos choix sentimentaux modélisables et régis par une machine sans âme, la réflexion s’impose… Si nous supprimons la composante émotionnelle de nos décisions, cela nous emmène-t-il vers un monde plus efficace, ou plus aseptisé ? Un autre enjeu se pose, et pas des moindres : dans une société de plus en plus interconnectée, où les facteurs d’instabilité se multiplient, de nouveaux types d’aléas apparaissent, avec une dimension “d’effet cocktail” et d’enchaînement d’événements en cascade. Comment pourrait-il être possible de les anticiper dans tous leurs aspects ? Ne sommes-nous pas, au bout du compte et malgré les progrès technologiques, plus vulnérables qu’autrefois ?

Du point de vue des managers des risques et des assureurs, un risque peut constituer une
menace aussi bien qu’une opportunité. C’est l’alliance entre leurs compétences et les nouvelles technologies qui peut garantir la résilience face aux crises. Résilience qui, dans un monde toujours plus rapide et automatisé, est un facteur clé de compétitivité. Leur métier ne va pas disparaître, mais connaître des évolutions importantes. L’heure est-elle venue de déléguer toute la chaîne de gestion des risques à des machines, plus précises que les hommes, plus rapides à agir en conséquence ? Ou vit-on dans un monde si incertain et une économie si évolutive que les capacités d’improvisation et d’adaptation du cerveau humain restent nos meilleures armes ? Les éléments de réponse à ce débat ont été confiés aux trois témoins convoqués par le Tribunal pour les Générations Futures : David Hourtolou, Directeur Commercial chez FM Global, Sébastien Maire, Haut Responsable de la résilience à la Ville de Paris, et Laurence Devillers, professeur en Intelligence Artificielle au LIMSI-CNRS.

 

Oui : les algorithmes sont des outils de confiance pour sécuriser l’humanité

 

1) Les robots en savent plus que nous

Leur puissance d’intégration des données permet d’atteindre des niveaux d’information
inconcevable pour des êtres humains. La meilleure équipe d’ingénieurs du monde ne pourra jamais égaler la puissance de calcul d’une machine, d’autant plus qu’elle restera opérationnelle 24 heures sur 24 et 7 jours sur 7, sans besoin de pauses ni de congés payés. La machine a donc également cet avantage d’être bien plus réactive à n’importe quelle variation dans les paramètres de son programme. Selon Laurence Devillers, il ne serait pas éthique de ne pas utiliser les possibilités que permettent ces technologies : à condition qu’elles soient alimentées avec des données de qualité, elle peuvent aussi contribuer à l’intérêt général en renforçant les capacités des individus. Leurs services peuvent être mis en commun dans une perspective d’entraide : en cela, les algorithmes recèlent un potentiel de mutualisation des risques, et donc de progrès social.

 

2) Les machines pallient nos failles

 

Sans fragilités psychologiques ou histoires personnelles compliquées, un algorithme est
complètement incorruptible. L’absence d’états d’âme facilite considérablement la prise de
décision en cas de problème grave, quels que soient les intérêts politiques ou économiques en jeu ou de la popularité de la solution. Concrètement, cela peut changer la manière d’appréhender les drames : Vincent Edin, dans le rôle de l’avocat de la défense, cite ainsi l’exemple du crash de l’avion de la Germanwings : alors qu’une part importante du pilotage des avions est automatisée, sans doute aurait-on pu éviter la mort de 150 personnes si une alerte avait pu permettre à une intelligence artificielle de reprendre le contrôle de l’appareil. De même, il interpelle l’auditoire sur les ordres de grandeur en matière de baisse de l’accidentologie sur les routes : les voitures sans conducteurs connaissent des taux d’accidents par kilomètre parcouru dix fois inférieurs à celles qui sont conduites par un être humain. Alors que le nombre de morts chaque année sur les routes stagne autour de 4000, est-il raisonnable de ne pas chercher à en éviter le plus possible ?

 

3) Ce ne sont que des outils au service de la volonté des humains

 

Le risque, comme les histoires d’amour, fait partie de la vie : la responsabilité de la décision revient toujours à un être humain. On ne peut pas faire le procès d’une machine ! Si les algorithmes ont une utilité, c’est de repérer ce que nous ne pouvons pas voir, mais ce n’est pas à eux de décider à notre place de répondre à une invitation à un rendez-vous galant. On peut s’appuyer, dans notre décision, sur leurs avis, ou faire le choix de passer outre, voire de l’éteindre. Nos décisions sont par ailleurs toujours réversibles… Cela n’a donc pas de sens de s’opposer par principe à leur usage. Il est en revanche de notre responsabilité d’alimenter ces technologies avec des données fiables et qualifiées, pour que leurs recommandations ne soient pas biaisées.

 

Non : rien ne peut remplacer la vigilance humaine

 

1) L’avenir a plus d’imagination que n’importe quel ordinateur

 

Les algorithmes ont ce défaut majeur d’être nourris par des données issues d’expériences
passées et d’éléments déjà connus. Un algorithme prédictif, aussi “intelligent” soit-il, ne fait que raisonner de façon probabiliste sur la base de corrélations identifiées parmi des occurrences passées. Or les risques, avec le changement climatique par exemple, mais aussi l’apparition de nouvelles technologies, vont devenir de plus en plus complexes, avec une dimension d’effet cocktail de risques en cascade. Ainsi, Sébastien Maire prend en exemple les crues de la Seine de 2016 : les capteurs étaient programmés pour des crues ayant lieu de décembre à mars, ce qui l’ont rendu d’autant plus complexe à gérer. Celle de janvier 2018 s’est conjuguée à une chute de neige, configuration jusque là inédite et pour laquelle il n’y avait pas de modèle de réponse préétabli. De plus, une mauvaise gestion d’une crise peut en aggraver les conséquences : ainsi, une inondation peut entraîner une coupure de courant pendant plusieurs semaines, ce qui rend l’intérêt d’appareils électroniques de mesure caduc. Comme le souligne Lluis Pino, procureur pour l’événement : « puisqu’on ne peut contrôler ni le vent ni la grêle, la pertinence du principe même de l’informatisation des prédictions doit être relativisée ».

 

2) Les algorithmes sont le reflet de nos défauts

 

À nouveau, ce sont des êtres humains de chair, d’os, d’émotions et de sentiments, et donc de préjugés qui fabriquent les programmes informatiques. Dès lors, malgré toutes les méthodes qu’il est possible de déployer, on ne peut s’exonérer du risque de biais dans leur conception. Laurence Devillers cite en exemple le fait que les calculs automatiques de salaire ne peuvent que continuer, forcément, à défavoriser les femmes puisqu’ils se basent sur des données existantes. De même, une entreprise avait commercialisé un distributeur automatique de savon pour les mains… qui ne détectait pas les peaux sombres. Les algorithmes ne peuvent être qu’autant, sinon davantage conservateurs que ceux qui les ont créés. L’intervention humaine est indispensable pour éviter que les paramètres des machines ne reproduisent ces schémas de pensée. Là où l’humain pourra se raviser de lui même, le programme persévérera dans son “erreur” jusqu’à ce que l’on vienne le modifier.

 

3) Aucune machine n’est totalement intelligente

 

Incapables de penser par elles-mêmes, les machines ne peuvent pas être complètement
autonomes. Qu’ils s’agisse de signaler des erreurs au-delà de leur champ de programmation, de gérer leur propre entretien ou de s’auto-réguler au nom de valeurs, ces actions doivent être prises en charge par des personnes avec un cerveau. D’après David Hourtolou, la voiture conduite par une intelligence artificielle diminue certes le risque d’accidents, mais ne l’élimine pas : elle le déplace. On l’observe avec la défaillance d’un système intégré ou la survenue d’un aléa non programmé dans le système lors d’un piratage informatique. Sébastien Maire évoque de nouveau la crue de la Seine de 2016 avec un capteur tombé en panne : alors que les indicateurs restaient stables, le niveau de l’eau, lui, continuait pourtant bel et bien à monter… Il a fallu quinze heures avant de comprendre le problème. C’est aussi un des enjeux majeur : faire confiance à de plus en plus d’ordinateurs pour gérer les risques, n’est-ce pas aussi risquer une plus grande vulnérabilité en cas de panne ?

 

Les machines peuvent-elles nous protéger des moindres accidents qui composent notre quotidien ? Si oui, jusqu’à quel point faut-il les laisser agir ? Le public composé principalement de professionnels, avait la lourde tache de rendre le verdict à l’issu de la séance. Au début du procès, l’assistance était majoritairement contre, votant électroniquement à 70% contre 30%.
Le réquisitoire du procureur puis la plaidoirie de l’avocat de la défense ont permis de nuancer la réflexion : à la fin de la séance, un nouveau vote fait passer le nombre de voix “Pour” à 44%, laissant tout de même encore 56% au vote “Contre”. Cette belle remontada montre que les arguments exprimés lors de ce Tribunal pour les Générations Futures ont permis des échanges de qualité et des positions nuancées, à la hauteur de la complexité du débat.

 

Pour découvrir le réquisitoire et la plaidoirie de la cour, cliquez ici.

 

La résilience, c’est un choix.

FM Global est le spécialiste mondial de la prévention, la gestion et l'assurance des risques industriels. Un seul but: garantir aux entreprises la continuité de leurs activités partout dans le monde.

Découvrir