La réalité concrète de l'IA générative au sein d'une scale-up

0:03 Notre but, c'est de simplifier la vie des clients. Et on a plein de features qui permettent de simplifier la vie des clients. La leçon numéro un, c'est que la qualité des données doit être bonne afin d'avoir quelque chose en sortie qui est correct. Bonjour à toutes et à tous, je m'appelle Benoît Gantaume, ça fait 25 ans que je suis dans la tech. J'ai été développeur, lead tech, manager, CTO, entrepreneur et aujourd'hui je suis manager de direction et j'ai le plaisir aujourd'hui d'accueillir Marianne Ducournau. Marianne, bonjour. Bonjour Benoît. Est-ce que tu peux te présenter en quelques mots pour ceux qui ne te connaissent pas? Oui, alors ça va être plus court que toi. Moi, je suis Marianne Ducournau. Je suis actuellement Head of AI Products chez Qonto et j'ai passé du temps dans quelques boîtes assez connues comme Uber et Amazon. Ok, super. Toujours en temps sous cet angle-là de data et AI? Voilà, en fait, j'ai été dans la data depuis ma sortie de l'école. J'ai un parcours d'ingénieur assez classique, classe prépa, école polytechnique.

1:06 J'ai fait un passage à l'INSEE et puis ensuite, je suis devenue data scientist chez Uber. Je suis ensuite allée chez Amazon, toujours dans la data, avant de rejoindre Qonto. Aux US ou tu étais en France? Alors chez Uber, je suis allée dans la Silicon Valley, donc pendant 5 ans à San Francisco, vraiment HQ Uber. Donc gros changement par rapport à l'INSEE. Aujourd'hui, on est au sommet de Tech.Rocks. Tech.Rocks, c'est la communauté de tous les leaders de la tech en France. Si tu es tech lead, manager, EM, directeur, CTO, beaucoup de CTO, rejoins-nous sur le Slack, on est plus de 3000. Et là, c'est notre event physique une fois par an. Qu'est-ce qui t'a donné, toi, envie de venir? Qu'est-ce que tu viens chercher au Summit? Le sujet du Summit était vraiment centré sur l'IA, l'IA générative. C'est exactement le cœur de mon métier aujourd'hui chez Qonto. Donc, ce que je venais voir, c'était des expériences de CTO, de personnes qui étaient en charge d'implémenter une roadmap vraiment dans leurs produits et de comprendre comment est-ce qu'ils faisaient pour combiner, je dirais, vitesse de développement et qualité de développement autour de la Gen AI.

2:18 Voilà, c'est ça que je suis venue chercher. J'ai eu deux interventions qui m'ont vraiment beaucoup plu et beaucoup intéressée. La première de Guillaume pour Google, qui nous a parlé des écueils à éviter en termes d'implémentation de Gen AI. Donc le côté, on va mettre un chatbot pour utiliser l'AI dans notre produit, quel que soit notre produit, on va faire un chatbot. Voilà, c'est potentiellement pas une bonne idée. Et puis, j'ai beaucoup aimé aussi l'intervention pour Dashlane de Kauter et Tina, qui nous ont parlé de l'importance d'avoir un dataset d'évaluation propre. Et leur approche originale, c'était de mettre à contribution les employés de Dashlane. Dashlane avec de la gamification pour qu'ils construisent eux-mêmes ce dataset d'entraînement. Ah super, intéressant ça! Oui, ça résonne tout à fait avec les problématiques qu'on a chez Qonto et dans mon équipe. On le sait, c'est vrai de tout temps, Gen AI ou Traditional ML, garbage in, garbage out, comme on dit.

3:21 Et donc avoir des données propres est crucial et ce n'est pas du tout quelque chose d'évident, notamment avec les images, etc. Et donc toi, l'AI, justement, c'est un peu ton métier au quotidien. Qu'est-ce que tu peux nous partager aujourd'hui? Comment est-ce que tu appréhendes ce sujet-là en interne avec tous les changements qui sont en train d'arriver? C'est quoi les retours d'expérience que tu peux partager sur ce que vous avez fait ces derniers temps? Oui, alors c'est une question très vaste. Je vais essayer de répondre sous l'angle internalisation versus recours aux prestataires versus utilisation de produits sur l'étagère. On va faire ça comme ça. Mais avant tout, je vais t'expliquer ce que ça veut dire mettre du machine learning, de l'AI dans le produit chez Qonto. C'est ultra large. Je t'ai dit, notre but, c'est de simplifier la vie des clients. Et on a plein de features qui permettent de simplifier la vie des clients. Ça va de l'océanisation, Optical Character Recognition, où tu vas transformer un document en...

4:22 Une couche de texte, puis en l'extraction du texte qui t'intéresse. Là, c'est très théorique, mais... Concrètement, moi, j'ai trouvé ça top pour les justifs des restos. Voilà, OK. Eh bien, exactement. Tu prends en photo ton justificatif de restaurant et tu as la TVA qui est extraite automatiquement, etc., le montant. Tu as plein, en fait, de cas d'usage différents. Tu as aussi le pay by invoice où tu vas scanner ou transférer à la boîte mail Qonto ta facture. Et automatiquement, l'iban du fournisseur, de celui que tu dois payer, du bénéficiaire, va être extrait. tant la date d'échéance. Et du coup, après, tu cliques, tu as juste à dire programmer ou envoyer l'argent. Et donc, bref, ce produit, océanisation, puis extraction des champs financiers importants, est au cœur d'énormément de features chez Qonto. Donc ça, c'est un de nos produits. Et alors, je pourrais creuser un petit peu, mais derrière, il y a du image to text, et puis après du text to text, et text to text sous LLM, ça se cache derrière.

5:34 On a d'autres produits comme la labellisation ou catégorisation des transactions. Donc ça, c'est quelque chose qui est assez connu, même du grand public. On n'a pas besoin d'avoir une entreprise pour voir ce que c'est. C'est tout simplement le fait que quand tu vas faire une dépense, tu prends le train. Est-ce que c'est le sport? Exactement. Ça rentre dans quelle catégorie de budget? Tu m'aides à faire mon budget. Exactement. Tu achètes un billet SNCF, ça va être labellisé transport. Et derrière, il y a à la fois du machine learning traditionnel, la catégorisation, mais aussi des LLM, puisqu'on a des descriptions de transactions, donc du texte, qu'on va pouvoir à nouveau, texte à texte, catégoriser vers différentes catégories. C'est-à-dire que là où avant, tu me demandais de le faire à la main, si le premier niveau ne reconnaissait pas, là maintenant, tu peux tenter d'interpréter ce qui est rentré pour en faire quelque chose. Voilà, tout à fait. Donc là, c'est deux produits. On part aussi du côté de l'IA agentique avec différents agents.

6:38 Il y en a un, justement, si on parlait des catégorisations, un qui va utiliser ces catégories de tes transactions pour te donner des insights, pour te dire directement en langage naturel quels sont les outliers de tes transactions passées, quelles sont les grandes tendances, est-ce que tu as dépensé davantage en transport le mois dernier, etc. Et donc, tu peux avoir une interaction comme ça en langage naturel avec ton agent qu'on appelle analyste. Explique-moi mon budget, qu'est-ce que j'ai fait de mon argent, il est passé ou quoi. Voilà, tout à fait, exactement. Donc ça, c'est un type d'agent. Et puis, on a d'autres agents avec lesquels l'utilisateur ne va pas nécessairement interagir, mais qui tournent en background, je dirais, et qui vont t'aider à faire ta comptabilité. Donc ça, on se lance là-dedans et on va bientôt sortir un agent qui permet de générer des entrées comptables. Voilà, c'est pour un petit peu spécialiste. Oui, mais ça va préparer la suite. Il y a un grand mouvement autour de la facture électronique. Je vois beaucoup de comptables qui sont en train d'évoluer.

7:41 Je vois des penny lanes qui sont des acteurs qui n'étaient pas forcément destinés à ça, maintenant rentrent sur ce marché-là, sur le marché de la compta. Absolument. On sent qu'il y a quelque chose qui est en train de se passer et ce n'est pas plus mal parce que franchement, en tant qu'entrepreneur, la partie comptable, elle n'est quand même pas forte à la rajouter. Rassembler des bouts de papier, s'assurer... Du collecté et que ce soit rentré dans les bonnes cases. Voilà. Moi, ce qui m'intéresse, c'est, OK, ce que tu disais, quelle est l'analyse de tout ça? Où est-ce que j'en suis de mon budget? Où est-ce qu'il y a du dépassement? Où est-ce qu'il y a du retard? C'est ça, voilà. Qui me doit de l'argent, s'il te plaît, relancez automatiquement pour moi. C'est plutôt ça. Voilà, nous, on veut libérer du temps pour les entrepreneurs, mais aussi d'ailleurs pour les comptables eux-mêmes, qu'ils puissent se concentrer sur les actions, les choses sur lesquelles ils apportent vraiment de la valeur. Lire un ticket pour en extraire la TVA. Ce n'est pas intéressant. Personne ne trouve ça intéressant. Ok, donc ça c'est les cas d'application et les cas où vous posez des questions en interne, c'est super intéressant.

8:41 Tu disais, tu es arrivé avec cette préoccupation, ou en tout cas ce prisme d'analyse, est-ce que je fais en interne, est-ce que j'achète des produits, est-ce que j'appelle de la prestat? Comment tu réfléchis ces questions-là, justement, tous ces projets, comment tu les mènes? C'est quoi? Est-ce que tu as des lignes directrices? Vous avez construit... Comment tu réfléchis ces sujets? Exactement, c'est vrai, je n'ai pas répondu à ta question. On va avoir une approche, là, depuis assez récemment, qui est la suivante. Quand la feature est au cœur de notre produit, qu'elle a beaucoup de cas d'usage, et c'est le cas de l'OCRisation, de l'extraction de champs financiers à partir de documents d'images, ça, c'est, pour chez Qonto, c'est... Appelé une fois par seconde. Toutes les secondes, il y a ce modèle qui tourne. Et c'est vraiment cœur. C'est ultra stratégique en fait. Voilà, c'est ultra stratégique. Et donc là, dans ces cas-là, ce qu'on se dit, c'est que c'est important de maîtriser totalement la qualité, la technologie derrière et de maîtriser les coûts et la latence. Donc dans ce cas, on va construire en interne.

9:44 Donc là, en l'occurrence, on a un LLM qu'on hoste nous-mêmes et qu'on a fine-tuné avec nos propres données. Voilà, tout à fait. Et donc, c'est cette économie. Tu veux nous en dire un petit peu plus? C'est quoi? Check Mistral est très bon, par exemple. Les OCR de Mistral sont très bons. Vous utilisez quoi, vous? Les OCR de Mistral sont très bons. Ceci dit, nous, on a fait le choix d'un LLM open source, peu importe le LLM, mais qu'on va venir fine-tuner vraiment sur nos cas d'usage et hoster dans AWS. Ça permet de réduire les coûts, mais en vrai, je l'ai cité en premier, mais ce n'est pas tellement ça le plus important. La latence et surtout, vraiment la qualité de ce qui va sortir. Vous maîtrisez complètement la qualité de ce qui sort. Oui. Donc voilà, pour les produits stratégiques qu'on utilise énormément, on va vraiment faire du développement interne. Et ensuite, pour les autres cas d'usage, quand c'est nouveau, on va choisir plutôt quelque chose sur l'étagère.

10:45 Donc nous, on utilise souvent Anthropic via Bedrock, qui est une solution Amazon, AWS. Claude Sonnet 4.5, là, c'est fourni par Anthropic, mais qui est accessible via Bedrock. Et donc, cette solution est ce qu'on appelle une solution sur l'étagère. Et ça, on va l'utiliser pour les nouveaux cas, les cas qui émergent, comme l'agent analyste dont je te parlais, où il faut encore trouver, je dirais, le feature market fit, si on veut parler comme ça. Et quand est-ce que vous faites appel à la Presta? Et alors, pour la Presta, ça, c'est, je dirais, un dernier recours quand on veut aller quelque part, que la solution sur l'étagère n'existe pas, mais qu'on est persuadé qu'il faut absolument investir. et qu'on n'a pas les ressources en interne. Et en fait, c'était le cas sur la future d'océarisation. On a commencé avec un prestataire externe parce qu'il n'y avait pas d'équipe AI Products. On avait uniquement une équipe qui était consacrée à la fraude, qui utilisait le machine learning pour détecter la fraude.

11:48 Et on n'avait pas de ressources suffisantes pour développer en interne. Donc, dans un premier temps, on a fait appel à un prestataire externe parce que non plus, il n'y avait pas de solution sur l'étagère. Et typiquement, comment vous vous organisez aujourd'hui? Vous faites une équipe AI dédiée ou c'est plutôt chaque équipe, vous attendez qu'ils soient capables d'intégrer ce genre de features dans leur développement? Alors, on a une équipe... Et d'ailleurs, vous savez combien d'équipes? C'est qu'on parle de combien de personnes? Oui, pour ce qui est de mettre l'AI dans le produit Qonto, c'est une équipe AI dédiée qui est au sein de la data et qui va après travailler avec le product engineering. En fonction des projets. Donc, on va travailler en cross-functional team, CFT, selon les projets. Donc, par exemple, pour développer une nouvelle feature telle que l'agent analyste, on va aller travailler avec des back-end, des front-end, un product manager, et je vais, moi, donner une ressource, un machine learning engineer à cette cross-functional team qui va se charger de développer la feature.

12:54 Mais en termes de lignes hiérarchiques, on est... séparés dans la data au sein de AI Products où j'ai une petite dizaine de machine learning engineers. Qu'est-ce que tu tires comme leçon, comme apprentissage de toutes ces expériences, de tout ce que vous menez? Je vais revenir un petit peu sur la raison qui m'a poussée à participer au Tech.Rocks Summit. Je dirais que la leçon numéro un, c'est que La qualité des données doit être bonne afin d'avoir quelque chose en sortie qui est correct. On a peut-être tendance à l'oublier parce qu'on est ébloui par la magie du LLM qui sort quelque chose en fait, tout le temps. À moins de poser une question interdite, le LLM répondra toujours et avec conviction. Oui, c'est ça, c'est la conviction qui est intéressante. Voilà, ça peut faire illusion dans certains cas. Cette espèce de pattern du wow effect des débuts, et suivi assez vite derrière d'une espèce de désenchantement, C'est un pattern qui revient souvent quand même.

13:58 Exactement. C'est là que tu dis, c'est là que la qualité de la donnée joue. Et la qualité de la donnée va jouer énormément. Donc ça, c'est vraiment crucial. Et puis, on l'a vu aussi dans le Summit, c'est très facile de faire aujourd'hui un petit POC, quelque chose qui va marcher en local ou alors même sur un serveur, mais à petite échelle. C'est autre chose de le mettre face à 600 000 clients quand je parle de l'échelle de Qonto. Ce n'est pas du tout les mêmes enjeux, les mêmes problématiques. Ça, mon boulot, c'est de... faire comprendre ça en interne, qu'effectivement, avec Lovable notamment, quelqu'un de pas technique peut faire quelque chose d'impressionnant très rapidement en une heure, mais de faire quelque chose qui scale, là, ça reste... Compliqué et on a toujours besoin d'ingénieurs. Et c'est un super challenge d'ailleurs parce qu'il y a quelque chose de fou dans le fait de créer un système qui n'est pas prédictible, qui est l'essence même de ce qu'on recherche d'ailleurs avec

15:00 que ça, sinon on coderait des algos classiques. Tout à fait. Comment tu fais pour gérer ça? Comment tu fais pour gérer le côté non prédictible et en même temps, tu as besoin que la réponse ait un certain niveau de validité en restant à définir ce que ça veut dire valide? Comment vous gérez ça, ces problématiques-là, surtout à l'échelle de 600 000 personnes où tu vas forcément avoir des... Des cas impossibles à imaginer même, comment vous gérez ça? C'est une excellente question. Alors, je n'ai pas la bonne réponse absolue parce que justement, ça fait partie encore des interrogations qu'on a. Vous cherchez quoi encore? On cherche encore. Toutefois, quelques pistes de réflexion, de réponse sont autour du retour client. Nous, on s'est dit qu'à chaque fois qu'on aurait de la Gen AI en face du client, on veut une feedback loop. Voilà, donc on va implémenter dès la V0, ne serait-ce qu'un thumbs up, enfin, pouce vers le haut, pouce vers le bas. C'est déjà énorme. Voilà, c'est déjà énorme et c'est très important pour nous. À partir de là, se pose la question aussi de la collecte des données et des retours, parce qu'il ne suffit pas de l'implémenter, il faut également enregistrer.

16:05 Que ça ait une boucle de feedback, j'imagine, sur l'apprentissage du modèle ou sur... Sur les outputs qu'il va donner, il va falloir lui dire, attends, là, en fait, c'était des réponses qui n'étaient pas jugées pertinentes, pour comprendre pourquoi. C'est un boulot de dingue, on ne se rend pas compte, mais même à l'échelle d'un petit échantillon, pas besoin d'avoir 600 000 utilisateurs, c'est un challenge. Dès que j'ai commencé à mettre les mains dans des projets type IA qui impliquaient un LLM, C'est le truc qui m'a sauté au visage de me dire, OK, comment je fais pour valider ce truc ? Comment je fais pour intégrer ces boucles de retour? Comment je fais pour avoir du feedback sur ce que je suis en train de dire? Parce que donner une réponse moyenne, c'est une chose, mais ne pas le savoir, c'est pire. Voilà, tout à fait. Et donc, intégrer ce feedback utilisateur, ce n'est pas quelque chose d'évident. Évaluer les LLM, ce n'est pas quelque chose d'évident. On est justement chez Qonto en train de se pencher sur la question. Il y a des frameworks qui émergent, d'IPVAL notamment. Pour l'instant, je ne pense pas qu'il y ait de bonne réponse et de consensus, je dirais, là-dessus.

17:06 Moi, j'ai envie de te laisser le mot de la fin. Pendant que tu réfléchis à ça, parce que je sais que ça surprend toujours un peu, je vais refaire un petit peu de promo pour TechRox. TechRox, vraiment, je t'invite à nous rejoindre. Comme je te l'ai dit, on est une communauté super vivante sur le Slack. Tu auras plein d'entraide, plein de gens avec qui échanger sur des thématiques différentes. Rejoins-nous sur tech.rocks, je vais dire Slack, pas du tout, sur tech.rocks. Le sommet, c'est une fois par an. Bon, là, ce sera trop tard si tu entends cet épisode, mais je t'invite à regarder et à surveiller ce qui va se passer pour l'année à venir. Ce sera certainement début décembre, j'imagine. Le mot de la fin? Le mot de la fin. Est-ce qu'il y a un message que tu as vraiment envie de faire passer, un truc que tu as envie vraiment de dire et d'important pour toi? Oui, je souhaiterais dire que je suis optimiste par rapport au métier de la tech. Et c'est vraiment ce message que j'ai envie de faire passer. Je pense qu'on a... énormément de chance de vivre cette transformation technologique de la generative AI.

18:07 Je pense qu'il faut vraiment l'embrasser, l'accompagner, prendre la vague et que ce n'est pas la fin de nos métiers. Au contraire, je pense que c'est vraiment le début de quelque chose. Comment tu vois les choses évoluer, toi? Alors, je vois l'effacement des frontières, je dirais. En termes de parcours, j'ai commencé en tant que statisticienne à l'INSEE, puis data scientist, mais c'est la même chose, à vrai dire. Et je n'ai pas eu de formation d'ENI, ça fait 20 ans que j'ai fini l'IX. Et pour autant, aujourd'hui, je fais de la générative AI. Et l'effacement des frontières, je le vois entre le product manager, le machine learning engineer et le software engineer full stack. Je pense que c'est trois métiers qui se rejoignent un petit peu et qu'il va y avoir, enfin qu'il y a déjà grâce à la generative AI, beaucoup de porosité entre ces trois métiers-là et qu'on va avoir des teintes de job, mais plus quelque chose d'aussi siloté qu'avant.

19:11 Aujourd'hui, un PM est capable de faire un proof of concept par lui-même. Un MLE est capable de mettre des choses à l'échelle par lui-même. Et puis, un full stack engineer est capable de faire des modèles de machine learning par lui-même grâce à Gen AI. Et vraiment, c'est la communication entre ces trois types de métiers. qui permet de faire des choses formidables à l'échelle. Grâce à la Généa, je trouve que ces trois types de métiers arrivent à mieux se parler, mieux se comprendre. Donc voilà, moi, c'est comme ça que je vois la suite pour l'année à venir. Et le reste, après, au-delà, je ne m'avance pas. Oui, c'est quelque chose à but de la vitesse à laquelle ça avance. Toi-même, je me suis dit un truc, c'est que, que ce soit sur mon podcast ou ailleurs, en fait, des interventions liées à l'IA, j'essaye de les publier le plus vite possible. Parce qu'en fait, la durée de validité de... ce qui est raconté, elle est parfois en semaine, voire en jour. Absolument. C'est pour ça que c'est passionnant. Je dis que je suis contente de travailler en ce moment, de voir ça de près, toutes les semaines, de nouveaux modèles.

20:12 On a Gemini 3, CloseNet 4.5. Et quand le podcast va sortir, ce sera déjà out of date. Merci Marianne. Merci Benoît.