Comment instaurer la confiance dans les systèmes d'IA ?

0:05 Bonjour, c'est Annabelle Blangero, Data Scientist sur Octo Technologies. On se retrouve tout de suite. C'est difficile de parler de technologie aujourd'hui sans parler d'intelligence artificielle et surtout de toute la défiance qui en découle parce qu'elle est souvent décriée, cette intelligence artificielle, et la littérature en la matière est plutôt prolixe. Regardez Matrix, Black Mirror ou même Her encore. Alors ma prochaine invitée, elle est data scientist chez Octo Technologies. Et on commence à bien connaître Octo Technologies, puisque Myriam Berkan, qui était avec nous ce matin, nous en a bien parlé. Alors je vous demande d'accueillir avec moi Annabelle Blangero. Annabelle, je suis vraiment ravie. Ravi de vous accueillir ce matin. Ce sujet me passionne et je pense qu'il passionne beaucoup de tech leaders aussi qui nous regardent aujourd'hui. Donc vous, c'est en vous appuyant sur les neurosciences que vous allez nous permettre de mieux comprendre comment on réussit à insuffler de la confiance aussi au sein de l'intelligence artificielle.

1:11 Tout à fait. L'enjeu est de taille ce matin. L'enjeu est de taille, il y a beaucoup de méfiance. Je vous montrerai un peu des résultats de sondage qui montrent que les Français ont des craintes par rapport à l'intelligence artificielle. Je suis data scientist, mais au préalable, j'étais chercheur en neurosciences. Je vais essayer de partager avec vous certains apprentissages. Je suis sûre qu'ils vont être nombreux. Je reviens juste après parce que j'aurai évidemment des questions à vous poser sur le sujet. Vous imaginez. Merci beaucoup. A tout à l'heure. A tout à l'heure. Donc si vous êtes comme moi, la première chose que vous faites en vous réveillant le matin, c'est de checker les news sur votre téléphone. Suivant les applications que vous utilisez, ces nouvelles vont être plus ou moins personnalisées par rapport à vos centres d'intérêt, par rapport à ce que vous avez regardé au préalable, ce qui vous intéresse. Cette personnalisation se retrouve dans les nouvelles que vous recevez, se retrouve dans les films qu'on vous recommande sur Netflix, la musique qu'on vous recommande sur Spotify, les achats que vous allez faire sur Amazon, etc. Peut-être qu'après, vous allez vous connecter sur LinkedIn, Instagram, Twitter pour vérifier les dernières réactions par rapport à vos derniers posts.

2:19 Peut-être ensuite, vous allez vous rendre à un rendez-vous avec un client. Si, si, ça se fait toujours, souvenez-vous. Et vous allez vérifier par Google Maps ou Waze le chemin le plus court pour vous y rendre. Quelques exemples d'intelligence artificielle qu'on a constamment dans notre poche, dans notre téléphone. Notre téléphone lui-même est une intelligence artificielle grâce à la reconnaissance vocale, la reconnaissance faciale, même la caméra est maintenant intelligente. Donc nous sommes un peu cernés. Ça, c'est que pour le téléphone. On peut parler aussi maintenant de tout ce qui est assistant domestique, comme le Google Home. Alexa et d'autres. Nos montres sont connectées, les voitures modernes deviennent de plus en plus autonomes. Donc vraiment, l'intelligence artificielle est partout. Mais cette démocratisation ne concerne pas que les GAFA. Moi, personnellement, je ne travaille ni pour Google ni pour Facebook, mais donc pour Octo Technologies, qui est une boîte de conseils de delivery en IT.

3:26 Et j'aide mes clients à implémenter des systèmes d'IA au sein de leurs applications, de leurs solutions. Avec mes collègues, on travaille sur des projets très différents, par exemple des modèles pour aider au diagnostic médical, des modèles, des projets de maintenance prédictive dans l'industrie, des prédictions de vente pour le retail, l'automatisation des processus administratifs et encore bien d'autres projets. Force est de constater que l'intelligence artificielle marche très bien, un vrai pouvoir à l'heure actuelle, permet de résoudre des problèmes qu'on n'avait pas de solution au préalable. Et derrière cette intelligence artificielle se cachent le machine learning et bien sûr le big data. Et c'est vraiment, vraiment impressionnant ce qu'on arrive à faire aujourd'hui. D'un point de vue business, ces technologies apportent aussi souvent un avantage concurrentiel non négligeable. Mais vous n'êtes pas sans savoir qu'il y a de temps en temps quelques loupés.

4:29 Que ce soit par Par exemple, les accidents causés par les véhicules autonomes qui sont en phase de test. Ces accidents soulèvent de nouveaux problèmes, de nouvelles questions légales et éthiques. C'est un peu le retour du... De problématiques éthiques classiques comme le dilemme du trolley ou le dilemme du tramway. Nous avons aussi des problèmes avec l'utilisation des données personnelles qui peuvent être utilisées pour nous manipuler, notamment avec Cambridge Analytica pour les élections américaines et anglaises. Je ne sais pas si vous avez vu, mais cet été, il y a eu un peu un scandale en Angleterre avec un algorithme qui permettait de noter les épreuves de leur baccalauréat, le A-Levels, et qui, pour 40% des élèves, ont diminué la note qu'ils ont reçue. Les élèves n'étaient pas très contents. Nous avons aussi des problèmes dans les assistants domestiques avec certains bugs, notamment l'enregistrement de petites bagarres conjugales qui ont été envoyées malencontreusement à des contacts de ce couple.

5:37 Nous avons des choses un peu plus sérieuses avec des biais, notamment sexistes, que ce soit pour l'attribution d'un crédit ou dans le recrutement, et des biais racistes par rapport à la reconnaissance faciale, par exemple, et de façon plus importante dans le système judiciaire américain. Donc il est difficile d'ignorer que l'utilisation de ces technologies soit sans risque. Clairement, il y a des risques pour la société. Et il est donc indispensable de s'assurer qu'on fait les choses bien. Faire les choses bien, c'est-à-dire que nos modèles soient performants, qu'ils commettent le moins d'erreurs possible. Que les failles de sécurité soient minimales, et bien sûr qu'on essaie de faire plutôt le bien pour la société plutôt que d'engendrer des problèmes. Mais je ne suis pas là. Aujourd'hui, pour vous parler de performance de modèle, de vous parler de craftsmanship en data science, ni d'éthique ou de morale, je suis ici pour vous parler de confiance.

6:38 Car outre les risques de réputation pour votre entreprise s'il y a un scandale, outre les problèmes de poursuites judiciaires que vous pouvez avoir s'il y a des problèmes, C'est avant tout le risque de rejet de votre produit par les consommateurs que vous risquez. En effet, la méfiance envers l'IA est très forte chez les Français. Nous avons des sondages qui montrent qu'à peu près 60% de la population française craint l'IA plus qu'elle n'est enthousiaste par rapport à ces technologies. Et de plus, il y a d'autres chiffres qui nous montrent que nous apprécions de moins en moins le fait d'être un peu fliqués par les publicités et le marketing ciblés. Et la grande majorité d'entre nous craignons de voir nos données personnelles récupérées et mal utilisées. Vu ce constat, comment rétablir la confiance? La réponse est souvent apportée, lorsqu'il y a des inquiétudes dans la société, par une réglementation. C'est ce qui s'est passé avec les données personnelles.

7:40 Nous avons le RGPD qui est venu un peu rassurer les Français en mettant en place des garde-fous. Moi, je pense personnellement que ce n'est pas systématiquement la bonne solution. J'ai la conviction profonde que la confiance ne se construira que si nous implémentons l'intelligence artificielle de façon responsable. Qu'est-ce que ça veut dire de façon responsable ? Moi et mon équipe, nous avons mis en place un sort de framework de l'IA responsable. Je vais vous en parler dans un instant. Mais j'aimerais auparavant qu'on creuse un peu plus le sujet de la confiance. Et j'aimerais qu'on fasse ça en vous proposant de regarder les choses un peu de mon point de vue qui est un peu particulier. Avant d'être data scientist chez Octo, j'étais chercheur en neurosciences. J'ai travaillé dans différents laboratoires, en France, en Allemagne, à New York et à Oxford. Et avant de quitter le monde académique, j'étudiais les mécanismes neurophysiologiques de la prise de décision chez l'homme. J'aimerais partager avec vous un des principaux enseignements que je garde de ces années de recherche.

8:46 Lorsque nous devons faire un choix entre deux options, la prise de décision se fait par accumulation d'informations en faveur d'une option par rapport à l'autre. Le moment de la prise de décision se fait lorsque ce signal dépasse un certain seuil. Ces signaux neurologiques sont enregistrables et mesurables, et on en a fait des modélisations, et je vais vous expliquer rapidement comment ça fonctionne. Donc disons que nous devons prendre une décision, entre deux options, par exemple entre deux appartements qu'on voudrait potentiellement acheter, Est-ce que je dois reprendre du gâteau au chocolat? Ou dans le cas qui nous intéresse, dois-je ou non faire confiance au système? que je suis en train de manipuler. Nous avons un point de départ qui est en général au centre, mais en fait on n'est jamais vraiment neutre avant de prendre une décision. On a souvent des a priori, ce qu'on appelle un biais, qui va être plus ou moins en faveur d'une ou l'autre de ces options.

9:50 Par rapport à l'IA, on peut avoir une méfiance de base, sans information, on peut avoir au contraire une affection particulière pour l'IA. Donc on part. de ce point de départ. Et au fur et à mesure qu'on va interagir avec le système, on va avoir de l'information en faveur ou en défaveur de ce système. Et au fur et à mesure de ces interactions, on va arriver à un moment donné à franchir ce seuil et on va pouvoir prendre la décision de lui faire confiance. Dans cet exemple, ou non. Et ce qui est particulièrement intéressant dans les recherches qui sont faites dans ce domaine, c'est que la force et la quantité d'informations vont être corrélées à un sentiment de certitude par rapport à la décision qui est prise. C'est-à-dire que, en bref, plus on va fournir d'informations aux utilisateurs de notre solution, plus ils vont faire confiance à notre solution et puis ils vont le faire avec une certitude. Ils vont être contents et sûrs de leur décision de nous faire confiance.

10:52 Cette vision un peu cognitive de la confiance que je vous propose intègre quand même néanmoins l'aspect plus émotionnel, un peu plus instinctif qu'on retrouve plus souvent. Et cet aspect-là se retrouve dans le biais d'origine. Donc ce côté un peu instinctif du biais d'origine de là où va partir ce signal de décision. Et l'avantage de cette vision que je vous propose, c'est qu'elle est activable. Et nous allons voir ensemble que ce lien entre information et confiance se retrouve vraiment au cœur de notre proposition de framework de l'IA responsable. Et je vais maintenant vous donner quelques exemples pratiques de choses qu'on recommande. La première chose, c'est ça, c'est expliquer aux utilisateurs les décisions et les prédictions faites par le système. Et c'est probablement le point le plus important. Un modèle de data science fait des prédictions sur la base de facteurs qui sont plus ou moins importants, et le modèle va nous donner une probabilité. Et en fait, trop souvent, ce qu'on donne à nos utilisateurs, c'est la décision finale, et pas vraiment cette probabilité, et encore moins les facteurs qui ont conduit à cette décision.

11:59 Si je développe un outil de maintenance prédictive et que je le mets dans les mains de techniciens et que je lui dis« il faut que tu changes cette machine» et que je ne lui explique pas pourquoi, il y a peu de chances que mon technicien va adopter ma solution. Si je lui dis de changer la machine, mais que je lui dis qu'il y a 90% de probabilité que cette machine tombe en panne, Ça va être plus important que si jamais c'était 55% de probabilité. Forcément, ce n'est pas la même force dans l'information. Si je lui dis maintenant que ma prédiction, c'est parce que tel et tel capteur ont un signal un peu particulier, ça va fournir ce supplément d'information qui va peut-être le convaincre. Et si en plus je lui montre les signaux pour qu'il puisse avoir vraiment l'information complète, son niveau de confiance sera renforcé. Je ne vais pas rentrer dans les détails, mais sachez que certains modèles nous permettent d'avoir accès à ces facteurs importants, d'autres non. C'est vraiment l'interprétabilité d'un modèle mathématique. Ils ne sont pas tous égaux.

13:01 Préférer, si possible, des modèles les plus simples, qui sont les plus interprétables, et éviter au maximum les boîtes noires. Un deuxième exemple, on a un peu parlé de ce genre de choses, mais une des craintes principales des utilisateurs, c'est de perdre le contrôle par rapport à l'intelligence artificielle. Laisser la décision finale aux utilisateurs leur permet de maintenir ce sentiment d'agency, ce sentiment de pouvoir sur la machine, qui va renforcer le lien qu'ils vont avoir avec la solution. Comme on l'a dit, on a cette probabilité à prendre en compte. Plus la probabilité se situe au niveau de chance autour des 50%, c'est en général dans cette zone que le plus d'erreurs par l'algorithme vont se trouver. Il y a des solutions pour potentiellement automatiser les choses qui sont certaines et assez évidentes avec une haute probabilité, et laisser ce qu'on appelle l'humain dans la boucle pour traiter les cas plus ambigus, plus problématiques.

14:06 Par exemple, un employé de banque pourrait se voir passer beaucoup plus de temps sur les cas compliqués si on lui permet d'automatiser les cas les plus évidents. Et donc, encore une fois, se garder l'humain dans la boucle, c'est une solution qui permet d'augmenter la confiance et en même temps de réduire les erreurs potentielles. Une autre façon d'impliquer les utilisateurs, c'est de renforcer l'impression de contrôle. c'est de leur donner le moyen de donner leur avis. C'est ce qu'on appelle les boucles de feedback. Si jamais vous avez fait une erreur de prédiction par le modèle et que vous laissez à votre utilisateur le moyen de vous le dire, votre modèle sera jugé moins sévèrement que s'il n'a aucun moyen de faire part de son mécontentement. Une autre façon également de donner la parole aux utilisateurs, c'est de leur laisser donner leur avis de façon plus générale. Parce que là, il y a un... L'autre concept qui est très important, c'est que la confiance est transitive. Je vais avoir tendance à faire plus confiance à une application qui a réussi à convaincre plus d'utilisateurs.

15:11 On connaît tous ce principe-là. Avant de commander quelque chose sur Amazon ou en ligne, on regarde les avis des autres consommateurs. Avant de réserver une table dans un restaurant, on regarde les avis des autres clients. Bien sûr, ça ne fonctionne que si les avis sont bons. Si les avis ne sont pas bons, ça ne fonctionne pas. Un autre point très important qu'on a vu aussi dans les résultats du sondage, c'est que les données personnelles sont un sujet très sensible pour les Français. Là encore, pour les rassurer et pour gagner leur confiance, il est important d'avoir un message très clair par rapport à l'utilisation que vous allez faire des données personnelles que vous récupérez. Je ne vous parle pas de pages de texte complètement incompréhensibles et illisibles, mais plutôt un message clair, direct et transparent. Il faut aussi bien sûr être en règle avec le RGPD, mais surtout avec l'esprit de la loi, c'est-à-dire minimiser la quantité de données que vous récupérez, bien anonymiser, bien sécuriser les bases de données et protéger les intérêts et les droits des utilisateurs.

16:14 Enfin, Dans les cas où votre produit ou votre solution peut avoir un impact important sur les utilisateurs, il est extrêmement important de s'assurer qu'il n'y ait pas de biais de discrimination. Ça veut dire vérifier qu'à la sortie de votre modèle, suivant les sous-populations que vous avez dans vos utilisateurs, que certaines de ces sous-populations ne soient pas discriminées par rapport aux autres. Donc il y a des solutions très technologiques pour faire ça, je ne vais pas forcément les décrire ici, mais ce qui est très important, c'est d'abord de se poser les bonnes questions. d'identifier quelles seraient potentiellement les sous-populations qui pourraient être discriminées, c'est mesurer en aval mais aussi en amont les potentiels déséquilibres dans la distribution des données qu'on a, C'est ce qu'on appelle le biais d'échantillonnage. Et s'assurer que si on a repéré ce genre de déséquilibre, qu'on les a fixés pour empêcher que ça entraîne des biais d'apprentissage.

17:15 Le machine learning, on dit souvent que c'est apprendre du passé pour prédire le futur. Nous avons une société qui est biaisée, qui fournit des données biaisées à nos modèles. Si on ne fait pas attention, on va avoir un futur qui va être tout aussi biaisé, même plus. Donc il faut faire attention. Un des meilleurs moyens aussi de faire attention à ce genre de choses, c'est d'essayer d'avoir le maximum de diversité dans les équipes de développement. Mais aussi dans les testeurs. Il y a beaucoup de problèmes qui auraient été évités si Apple avait testé ces logiciels de reconnaissance faciale avec un groupe qui ait plus de diversité que ce qu'ils ont fait. Je vais vous donner un certain nombre d'exemples pratiques de ce qu'on appelle considère être l'IA responsable. Mon équipe et moi-même, nous avons identifié cinq piliers que nous avons un peu formalisés, qui sont la transparence du message, la sécurité des données personnelles, dont on a parlé, l'interprétabilité et l'explicabilité, qui font appel à comment est-ce qu'on va expliquer à nos utilisateurs les décisions et les prédictions faites par l'algorithme.

18:26 L'interprétabilité, c'est plutôt le côté data science, modèle mathématique. L'explicabilité, c'est plutôt le côté design des interfaces et interview utilisateur. Ce sont ces deux aspects-là. Et nous avons enfin la vigilance, qui est donc éviter qu'il y ait des biais discriminatoires dont on vient de parler. Nous avons ces cinq piliers. Nous avons travaillé dans ce framework à faire un outil d'assessment ou d'audit pour pouvoir évaluer des solutions d'IA qui sont déjà en place. Nous accompagnons aussi nos clients dans l'implémentation de l'IA responsable suivant ces cinq piliers. En conclusion, il est clair qu'aujourd'hui, l'IA est porteur d'une promesse de compétitivité accrue sur le marché. Mais il y a aussi des risques de réputation et d'adoption de vos solutions dans le climat des finances actuelles. Prendre le sujet de l'IA responsable à bras-le-corps, c'est prendre de l'avance.

19:27 Prendre de l'avance par rapport à l'adoption. pour vos utilisateurs, prendre aussi de l'avance par rapport à la réglementation. Déjà dans le texte de loi de la RGPD, il y avait des conseils par rapport à utiliser l'IA de façon responsable. Il y a en cours de nouveaux projets de loi au niveau français et européen. On s'attend à ce que les choses évoluent assez rapidement dans ce sens-là. Je travaille avec une association afin d'essayer de mettre en place... Une sorte de certification de l'IA responsable. Et on attend un appel d'offres du gouvernement dans ce sens-là, dans pas très longtemps. N'hésitez pas à nous contacter si vous voulez en savoir plus. Merci beaucoup pour votre attention. Avez-vous des questions? Oui, j'en ai plein! J'en ai plein de questions! C'était passionnant, Annabelle. Super. Passionnant, parce qu'on sent qu'on est vraiment dans le cœur du sujet, dans l'air du temps. C'est vraiment un débat même qui est éthique. Alors, ça va être ma première question. Comment on peut rendre ce débat un peu plus éthique?

20:29 Parce que l'RGPD, c'est une première brique. Effectivement, elle a changé beaucoup de choses, mais c'est réglementaire. Comment finalement on peut plus faire appel à notre intelligence pas artificielle, justement, notre vraie intelligence? La question de qui doit faire quoi dans tout ça est pour moi assez cruciale. Il y a les autorités, il y a la réglementation, il y a les pouvoirs publics, mais il y a aussi les acteurs, nous. Et il y a les consommateurs. Et on sent qu'il y a une volonté en ce moment de citoyenne, un peu une sorte de réveil citoyen sur toutes ces notions-là, que ce soit dans le green ou dans les responsabilités éthiques. On peut même dire d'éveil plus que de réveil, je crois. Oui, tout à fait, je suis d'accord. Mais d'éveil citoyen sur ces problématiques-là, effectivement, donc ça c'est une première étape. C'est une première étape, donc eux vont aussi pousser, et commencent déjà à pousser, ils vont pousser de plus en plus pour nous responsabiliser. Le mot éthique, je ne suis pas forcément une grande fan parce qu'il y a des choses... Un peu de moralisateur un peu derrière.

21:31 Il y a un peu des biais là aussi. Donc j'aime mieux ce côté responsable, où chacun doit se poser les bonnes questions et être en phase par rapport à ses valeurs. Alors après, il y a aussi le système de machine apprenante qui est derrière ça. Donc à la base, un algorithme basé sur de l'intelligence artificielle. Puis après, ce système de faux neurones, entre guillemets, qui fait de la machine apprenante. Il n'y a pas un moment donné où même si on rend le débat éthique, même si on est très responsable, finalement, cette machine apprenante, elle peut dépasser le maître dans sa conception? C'est presque philo comme sujet là. Oui, là vous allez un peu loin. Ça m'intéresse, j'adore parler de ce genre de choses. Donc il y a plusieurs choses dans ce que vous dites. Potentiellement, un algorithme, c'est quelque chose qui est potentiellement neutre. Là où on amène des problèmes, c'est par rapport aux données sur lesquelles on entraîne l'algorithme. Et ces données viennent de la société. Donc ça aussi, c'est une autre philosophie. Oui, et la façon de concevoir les modèles de ces données vient d'une personne qui elle-même est humaine. Tout à fait. Donc qui elle-même a des biais. Tout à fait. Donc les problèmes de la machine viennent de l'humain. Quant à la partie« est-ce qu'un jour la machine va nous surpasser?

22:35 », je fais partie des gens qui pensent que oui. Je ne vois pas ce qui n'empêcherait la machine de nous surpasser un jour. On peut lui fournir des quantités infinies de processeurs et de stockage mémoriel, et en combinant les choses, je ne vois pas où serait le problème. Je crois aussi, je suis neuroscientifique et je... Je pense que la conscience émerge de l'activité cérébrale. Je ne vois pas pourquoi on ne pourrait pas reproduire une certaine conscience dans l'intelligence artificielle. Ça, c'est mon point de vue. C'est ouvert à débat. Il y en a un qui a dit« I have a dream» un jour. Donc moi, j'aimerais bien être comme vous là-dessus. Oui, oui. Donc voilà, c'est toujours un débat. Donc en fait, tout part de nous. C'est juste ça. Si on réussit à s'éduquer un petit peu mieux, à être plus conscient aussi des conséquences du traitement algorithmique des informations, peut-être qu'on réussira à ne pas être inquiet et à créer cette confiance. C'est quelque chose dont je n'ai pas du tout parlé, mais c'est vrai que l'acculturation, la connaissance, la compréhension des gens est clé dans tout ça, parce qu'on a peur de ce qu'on ne connaît pas.

23:44 C'est vrai pour toutes les formes de discrimination. Mais oui, donc bien sûr. Donc c'est un peu la conclusion, ce sera ça. Formons tout le monde, absolument. Éduquons-nous et formons-nous. Merci infiniment Annabelle d'avoir été avec nous sur le Tech.Rocks Summit, c'était passionnant. A bientôt!