Efficiency & Gen AI

0:00 Alors, monter très haut, ça apporte aussi pas mal de vent. Est-ce que vous me voyez venir? Vent, le vent du sud, Vent du Sud? Ah, il y en a qui suivent quand même. Tout le monde ne dort pas. Et c'est vrai qu'en ce moment, sur les montagnes de l'IA, Generati, c'est un petit peu venteux. Ça ne vous a pas échappé. C'est ce que nous allons découvrir avec Timothée Lacroix, qui est le CTO de la French Touch de l'IA Mistral, qui a fait couler beaucoup d'encre ces derniers temps à propos de son souhait de ne pas la réguler, justement, l'IA. Et il va être interviewé par Charles Gorintin, le fondateur et le CTO de Alan. Super, merci. Je vous laisse la place. Vous n'avez pas besoin de zapette, de slide, tout ça? Alors, on peut essayer de passer les slides, mais comme il n'y en a qu'un, il y a... Bon, très bien. Si jamais il y a un problème, je suis juste en bas. Vous m'appelez, je viens.

1:01 D'accord. Nettoyer la table, tout ça, je suis là. On va faire ça. Très bien. Déjà, je suis extrêmement honoré et content d'avoir pu ramener Timothée ici à Tech.Rocks, parce que je pense que l'IA va être extrêmement important pour toutes les entreprises et pour toutes les équipes de tech. Donc merci, merci infiniment Timothée d'avoir pu... d'avoir pu te libérer pour venir ici ce matin. Est-ce que tu peux te présenter un peu, te dire un peu d'où tu viens, qui tu es? Il demandait si le micro fonctionnait. De toute façon, on ne va pas parler en même temps. Bonjour et merci.

2:03 Donc, Timothée, je suis CTO de Mistral. Avant ça, j'ai été 8 ans à Meta, où j'ai fait ma thèse. Et ensuite, j'ai été ingénieur. C'est là que j'ai rencontré Guillaume. Arthur, je le connais parce qu'on a fait nos études ensemble. Et voilà, à part ça, c'est surtout les six derniers mois qui ont été un peu intenses. Ok, j'ai essayé de mimer des questions, mais c'était un petit peu compliqué. Mais donc, Guillaume, qui est Guillaume Lampe, et Arthur Mensch, les deux autres fondateurs de Mistral. Globalement, c'est quoi ta vision de Mistral en matière de développement technologique à moyen et long terme? Alors, est-ce que tu les marches? Oui. Ma vision pour le développement technologique de Mistral à moyen et long terme, j'ai des visions temporelles un petit peu distordues en ce moment. À moyen terme, mettons fin 2024, on veut matcher un peu ce qu'ont les grands actuels, donc être à parité avec ce qu'a OpenAI actuellement comme modèle.

3:18 Et à très long terme, on veut faire mieux. Donc pour nous, faire mieux, ça veut dire à la fois aller explorer des modèles beaucoup plus puissants, parce qu'on se pose toujours des questions sur ce qui est possible de faire avec ces choses-là, et surtout avoir des modèles qui sont beaucoup plus petits pour faire les mêmes choses. Et c'est en fait techniquement assez similaire. Si on sait faire des modèles qui sont petits et très forts, les modèles gros seront encore plus forts. Donc à l'étape OpenAI, rien que ça, une boîte qui vaut 90 milliards, c'est ambitieux. Et c'est ça qui est génial dans cette aventure. Et donc, le domaine de l'IA, ça change tout le temps. Il y a des nouvelles choses qui arrivent tous les jours, toutes les semaines. Hier, il y avait Gemini de Google qui est sorti. Comment est-ce que tu fais évoluer la tech? Pour pouvoir répondre à ce marché complètement changeant de l'intelligence artificielle?

4:22 Tous les fondateurs et beaucoup de nos employés sont des chercheurs. On est assez familier avec des paysages qui changent. On regarde ce que font tous les autres et on fait ce qu'on fait. Répondre aux besoins technologiques changeants, je pense que de toute façon, c'est plutôt vous qui faites ça. Nous, ce qu'on fait, c'est des bons modèles et c'est ce qu'on sait faire. On se pose moins de questions. Et justement, en termes de tech, faire un bon modèle, ça représente quoi? C'est quoi les grandes étapes? Il y a plusieurs étapes très claires pour faire un bon modèle. La première étape, c'est d'avoir des bonnes données. Ça, c'est ce qu'on a fait au tout début et c'est du travail qui est difficile, qui prend du temps et qui n'est pas très rigolo, mais qui prend aussi pas mal de talent. En particulier, chez nous, on a Guillaume qui est vraiment excellent à ça. Une fois qu'on a des données, il faut qu'on lance l'entraînement.

5:26 Pour lancer un entraînement, ça ne se fait pas tout de suite. Il faut avoir choisi les paramètres de l'entraînement. Parce qu'au moment où on va cliquer, c'est un commit sur plusieurs semaines, plusieurs centaines de milliers d'euros, plusieurs millions parfois. Donc il ne faut pas qu'on se trompe. Donc on a les données, on a fait toutes les expériences préliminaires, on lance l'entraînement. Et à la fin de l'entraînement, il y a toute la partie post-training qui est, on a cette espèce de matière primaire qu'on essaie de modeler pour que ça suive les instructions. Donc c'est tout ce qui est instruct fine tuning et autres. Et ce qui est bien, c'est qu'on peut, du coup, pendant ces trois semaines d'entraînement, faire toutes les autres étapes et avoir un cycle comme ça qui marche pour préparer la prochaine génération quand la génération actuelle s'entraîne. Et l'avantage de l'open source, c'est justement que tu peux release ton modèle et après, tu n'as plus besoin d'y toucher. C'est ça, c'est ce qu'on a vu au tout début avec Guillaume quand on a release Lama et avec Mistral 7B beaucoup aussi.

6:29 Pour Mistral, c'est beaucoup plus simple. Al 7B, on s'est vraiment concentré sur le pre-training, donc la partie longue. Et par contre, la communauté a fait un travail fabuleux pour tout ce qui est post-entraînement. Et donc ça, c'était très sympa de voir ça. Et en tant que CTO, c'est quoi tes principales responsabilités? En tant que CTO, j'avais déjà ce rôle un peu, ça fait trois ans que je travaille avec Guillaume, et on s'était déjà séparé un peu le travail comme ça. J'ai un peu plus un background ingénieur, je me déplace mieux sur les stacks et je suis un peu plus rapide pour aller dans des projets ou codebases exotiques. Ma responsabilité, ça a été pas mal de prendre toutes les choses que les autres n'avaient pas le temps ou pas envie de faire. Il y avait des choses de données à faire avec Spark que personne ne connaissait. J'ai fait ça. Il y avait des histoires de CUDA à faire. J'ai fait un peu ça. Donc c'est pas mal de choses variées. Hyper intéressant. Pour ceux qui ne savent pas, CUDA, c'est le langage qui permet de parler au GPU, globalement.

7:32 C'est ça. Et donc, pour le moment, tu fais beaucoup des choses de contributeurs individuels? Comment tu vois les choses grandir au fur et à mesure? Comment tu vois ton rôle évoluer? C'était un peu prévisible. Quand on a commencé, on savait exactement ce qu'on allait faire semaine par semaine. C'était très précis et j'étais vraiment dans mon rôle d'IC. Comme comme dans ma vie précédente. Plus le temps avance, plus j'ai des meetings, moins je peux me concentrer pendant 8 heures sans que personne ne me dérange. Donc ça évolue. Je pense qu'il va falloir que j'apprenne à déjà organiser mon agenda pour ne pas avoir des espèces de trous d'une demi-heure où je ne sais pas quoi faire. J'habite aussi à Grenoble, donc de temps en temps, j'ai un peu de calme quand je suis là-bas. Il ne faut pas non plus que j'aille m'enfuir là-bas tout le temps. Génial.

8:34 C'est quoi tes grands principes, tes visions en termes de technologie? Comment tu fais les choses? À la fois en termes de technologie, comment tu fais ton code, est-ce que tu as des grands principes là-dessus? J'ai très peu de grands principes. Je pense que c'est aussi un côté de recherche. En recherche, il faut avoir un peu des idées. J'ai des envies, j'ai des intuitions de ce qui va marcher ou pas, mais je n'ai jamais eu de réponse. Vraiment, je me suis trompé à peu près 50% du temps sur ce qui allait marcher ou pas. Et je pense que c'est pareil pour tout. On fait beaucoup de tests. C'est comme ça qu'on fait notre code aussi. On veut un code dans lequel tout soit très expérimental, soit très facile et très confortable de changer des trucs et de faire des tests. Donc très peu de grands principes. Oui, déjà, ça, c'est un grand principe d'aller vite et d'essayer beaucoup de choses et de jeter des... les choses qui ne marchent pas. C'est hyper intéressant. Et donc, typiquement, le monde de l'IA, ça bouge, comme je disais tout à l'heure, tous les jours, toutes les semaines.

9:39 Comment tu fais ta veille? La veille, j'ai arrêté de la faire moi personnellement parce que je n'utilise pas Twitter et en fait ça se passe beaucoup sur Twitter. Donc les gens font la veille pour moi sur Twitter et de temps en temps je vais voir sur les articles qui sont partagés. Je pense que pour l'instant en tout cas, en tant que... À Mistral, on lit deux, trois articles qui passent, mais on sait vraiment ce qu'on veut faire pour l'instant. On teste des choses et tout, mais on n'a pas besoin de passer une portion significative de notre temps à aller fouiller comme si on était en thèse. J'ai cru comprendre que vous faisiez des sortes de reading meetings, où vous lisez des papiers de recherche, comment ça marche? On fait ça, c'est effectivement quelque chose de classique de groupe de recherche. On a pas mal de sujets qui nous intéressent. Après, ce n'est pas forcément sur des choses qui sont complètement... Des choses complètement nouvelles, pour moi, c'est sorti cette semaine. Par contre, il y a des sujets qu'on aime bien approfondir, parce que quelqu'un dans l'équipe a plus d'expertise, ou alors on se dit, tiens, ça a l'air important, il faut qu'on apprenne.

10:45 Et donc, on demande à une personne de l'équipe de prendre trois papiers et de nous les présenter pour qu'on comprenne. Je trouve ça hyper intéressant parce que je pense qu'on peut tous s'en inspirer en tant que CTO d'entreprise qui sont moins recherche parce qu'il y a des choses qu'on peut apprendre de ces modus operandi. Pour toi, c'est quoi qui fait la différence de Mistral? La différence de Mistral, on a quand même un peu une volonté différente, j'ai l'impression, par rapport, si on se compare à OpenAI, qui, moi, ma compréhension de ce qu'ils veulent faire, c'est en les GI. Ce n'est pas quelque chose qui, personnellement, m'intéresse trop. C'est vraiment, on veut faire des modèles utiles. On pense que pour ça, il faut faire beaucoup d'open source parce que c'est ça. qui va vraiment accélérer le fait que la communauté puisse trouver tous ces usages qu'on ne connaît pas encore. Je pense que les chatbots, c'est très sympa, c'est super puissant, mais en fait, c'est que le début. On va aussi couvrir tout le spectre de ce qu'on peut faire avec des modèles.

11:48 Par contre, le but final est différent. On veut vraiment juste mettre des LLM partout où c'est utile, et c'est utile à beaucoup d'endroits. Je pense qu'il y a pas mal de gens dans la salle qui s'en sont rendus compte. Et donc pour toi, c'est quoi les grands défis techniques auxquels Mistral est confronté là maintenant et comment est-ce que tu les abordes? Donc les grands défis techniques, il y a un défi technique permanent qui est de faire des entraînements qui sont stables et qui marchent vite à des échelles de plus en plus grandes. Donc ça, c'est un peu en background. Il y a effectivement des technologies qui changent. Nous, on a fait nos entraînements sur la dernière technologie de GPU et la dernière architecture de data center. Si ça, ça change, il faut qu'on réévalue deux, trois trucs. Et là, on commence à se tourner vers la production. Et alors, en production, on a le bonheur d'être sur la branche main de NVIDIA, qui change toutes les semaines et où on n'a accès qu'à la moitié du code.

12:50 Et donc, ça, c'est un bon défi. Il faudrait de l'open source partout. Quelle mesure? Tu prends pour garantir l'éthique et la responsabilité dans le développement de ces modèles d'IA ? Nous, notre position là-dessus, c'est qu'on pense que la réponse à cette question, c'est l'open source. En particulier parce que l'open source permet de trouver les solutions à ces questions, alors qu'avoir accès à un API protégé, ça permet surtout de trouver les problèmes. C'est attaquable et on peut faire des choses, mais on ne peut pas trouver de solution. Nos IA ne sont pas plus robustes que les autres. Par contre, en étant open source, ça permet à toute la communauté de recherche d'essayer de trouver des solutions et de nous aider. Il y a tout un groupe de chercheurs en Trust and Safety qui ont justement signé une lettre avec la fondation Mozilla, justement pour dire que l'open source en IA, c'est l'antidote et pas le poison.

13:51 C'est en IA et en fait, ça a toujours été comme ça. Personne en sécurité maintenant s'est dit, tiens, je vais faire un truc de chiffrage dans mon coin et si je le dis à personne, ce sera protégé. En général, ça ne marche pas, je crois. Et donc, justement, ces questions de transparence et de partage de valeurs dans ces algos, comment tu les abordes, comment tu y penses? Est-ce que c'est des choses qui sont actuelles ou qui viendront un peu plus tard? Pour la transparence, nous, c'est vrai qu'on a une position où on est très open source pour toute la partie post-training. La partie training, c'est beaucoup de travail et c'est vraiment notre valeur ajoutée. On n'en parle pas. Par contre, pour la partie partage de valeurs, je pense qu'il y a beaucoup de débats et c'est normal. C'est une technologie qui est nouvelle, qui pose des questions nouvelles. Nous, notre rôle, c'est de faire partie de la conversation et d'essayer d'arriver à un point où tout le monde est content. Globalement, vous utilisez des communs pour produire des communs et les rendre à la communauté. Oui, mais je pense que personne n'a la réponse à cette question.

14:56 Je pense que les gens qui produisent du contenu ont forcément envie de... de les garder et d'en obtenir de la valeur. C'est aussi normal qu'on arrive, avec cette technologie fabuleuse, à les utiliser. Donc, il faut juste qu'on trouve un accord. Il y a OpenAI qui est américain, qui fait des gros modèles. Il y a Anthropic aussi. Il y a Google qui vient de sortir Gemini. Comment est-ce que tu places Mistral dans ce monde qui est assez dominé par les Américains? Derrière les Américains, il y a beaucoup d'employés qui viennent de partout. Je pense que l'image que... Qui est donnée par tous ces succès américains, ça reflète surtout la disponibilité du capital et de la prise de risque. Mais le talent est global. Nous, on a décidé de faire ça ici. Je pense que ça a été un peu un challenge de lever des fonds parce que la scène des VCs est plus fractionnée en Europe. Mais à part ça, il n'y a pas de problème de talent.

16:00 Et à la fin, justement, être européen, ça permet d'insérer plus de langage européen, de culture européenne, pour ne pas se retrouver dans une domination culturelle américaine, par exemple? Alors le langage, clairement, c'est effectivement, on peut beaucoup plus insister pour avoir des modèles qui parlent nos langues comme il faut. Ce qui est difficile, c'est que la donnée de base pour tous ces modèles, c'est Internet. Internet, c'est majoritairement anglo-saxon. Et donc, en fait, il y a quand même des... cette domination qui est là. Après, c'est l'entraînement de base et on peut faire ce qu'on veut derrière. Donc la solution, ce serait plutôt qu'il y ait beaucoup de data française qui soit mise dans les communs, justement, pour pouvoir faire rayonner la culture française? Oui, alors je pense que, bon, je ne vais pas demander à ce que 50% d'Internet soit français, ça serait un peu osé, mais effectivement, ça nous aiderait. Je pense que c'est vraiment, en fait, il ne faut pas voir l'entraînement de base comme un endroit où on veut mettre des biais ou changer la culture.

17:03 Je pense que c'est le mauvais endroit où essayer de faire ça. Il faut avoir une approche absolument pas éditoriale à ce moment-là. Et par contre, selon les usages, selon les cultures, en fait, prenons par exemple un modèle qui aurait lu plein de contenus nazis pendant son pré-entraînement. Ce n'est pas forcément une mauvaise chose, parce que ça permet ensuite beaucoup plus facilement de lui dire« ne sois pas nazi, s'il te plaît». Alors que si on lui dit ça et qu'il n'en a jamais vu, il ne va pas comprendre. Donc, ça se fait vraiment après la partie culture. Super intéressant. C'est un vrai enjeu pour tout le monde dans l'IA. Quand tu essaies de chercher des nouveaux talents pour Mistral, c'est quoi les compétences que tu cherches, les qualités que tu cherches dans ton recrutement? Il y a plusieurs types de postes. Le poste qu'on connaît le mieux, les trois cofondateurs, c'est la partie un peu AI scientist, donc chercheur. Ce qu'on fait, ce n'est pas très compliqué.

18:03 Ce n'est pas des espèces de maths exotiques ou des choses folles. Par contre, ça demande beaucoup de rigueur. Parce qu'effectivement, ce moment où on clique pour lancer l'entraînement, il ne faut pas se tromper. C'est vraiment cette rigueur qu'on cherche. Ça, c'est la partie scientist. Il y a une partie un peu très technique. Je parlais de CUDA, tout ce qui se passe dans des optimisations qui sont très bas niveau. Ça, c'est un profil qui demande beaucoup d'acharnement. Il faut vraiment se dire, OK, je ne vais pas lâcher pendant des mois et cette petite partie de l'algorithme, je vais la rendre efficace à fond. Et ensuite, il y a des profils que je pense que tout le monde dans la salle connaît beaucoup mieux que moi, qui sont tous les profils de DevOps et autres. Et ça, on se base sur des recommandations parce qu'on ne sait pas chercher nous-mêmes. Ça viendra. Et donc, comment tu décris la culture d'entreprise au sein de Mistral et comment est-ce que cette culture impacte la manière dont vous construisez la tech? La culture, on vient de commencer une startup, donc c'est forcément très intense.

19:11 Je pense qu'on est beaucoup basé, je parlais de doute et du fait que je n'avais pas d'opinion forte. Je pense que c'est quelque chose qu'on essaye tous d'avoir. On se pose beaucoup de questions, il n'y a aucun problème à ne pas comprendre des choses et on parle tout le temps. Et je pense que ça permet aussi de passer des... On a des conversations de scientifiques où on s'engueule parce qu'on a tous des opinions très fortes sur ce qui devrait marcher. Par contre, on est toujours très ouvert sur ce que disent les autres parce qu'ils sont aussi très forts, ils ont leurs opinions très dialogues. Donc très low ego et discussion. Pour le futur, là, il y a 2024 qui arrive. C'est quoi les grands enjeux? Les grands enjeux, je pense que, comme j'ai dit au tout début, si fin 2024, on est à... à parité avec ce qu'offre OpenAI aujourd'hui, on sera déjà content. Ils ont mis 4 ans ou plus à le construire. Je pense que c'est raisonnable déjà. Si on en arrive là, on sera très content.

20:13 Hyper clair. Et comment est-ce que tu vas te préparer justement pour ce futur? Parce que OpenAI, ils ont GPT-4 aujourd'hui, ils ne sont pas restés à se tourner les pouces, j'imagine. Donc comment tu anticipes ça? Alors, on a une vision beaucoup plus long terme. C'est vrai que pour l'instant, on est très tactique parce que c'est tout ce que je vois. En fait, la vision plus long terme, elle nécessite dans tous les cas d'avoir des modèles en interne qui sont très forts. Ces modèles-là, ça prend du temps de les développer. En fait, l'entraînement, à partir du moment où on clique, enfin, entraîner GPT-4, quoi qu'on fasse, ça va passer en deux semaines. Donc, pour l'instant, on exécute jusque-là. On a commencé à faire des POC, à parler à des gens pour avoir les vrais problèmes derrière. Parce qu'effectivement, ce qu'on voit, c'est ce qu'on utilise. On utilise ChatGPT, c'est super, mais ça ne répond pas à toutes nos questions. Et donc, on a cette espèce d'entraînement long terme où on sait que c'est nécessaire.

21:14 Et par contre, en background, on réfléchit à ce qui va se passer après. Génial, c'est vraiment passionnant et je pense que l'Europe a besoin d'un acteur et d'un champion comme Mistral, mais il y a d'autres champions aussi. des Lighton, des Agile Face, etc. Mais on a vraiment besoin d'un champion pour montrer qu'on peut faire la différence. Merci beaucoup, Timothée. On va ouvrir les questions à la salle. Il y a un micro. Décidément, ce n'est pas grave. Je peux te piquer le tien, Charles. Tu es d'accord? A priori, tu ne vas pas répondre aux questions. Alors, on y va. Bonjour, bravo déjà pour vos premiers résultats et bravo pour l'ambition. Je crois que vous avez défini vos K2 pour avancer, donc c'est bien. J'ai une petite question par rapport à vos ambitions. Comment vous travaillez avec la partie hardware? Parce que sans le hardware, je pense qu'à un moment, vous aurez des limites. Donc, comment vous... En dehors de Nvidia? Est-ce que vous travaillez avec Nvidia?

22:15 Est-ce que juste vous recevez ce qu'ils font et vous voyez comment l'adapter? Quelles sont vos relations? Partie hardware, c'est une excellente question. Actuellement, il y a quand même une vraie domination de Nvidia. C'est très, très difficile de s'en sortir. On travaille avec Nvidia parce qu'ils ont aussi d'excellents ingénieurs. C'est un peu actuellement surtout une extension de notre équipe. Parce qu'ils développent, c'était la partie dont je parlais, où on n'a que la moitié du code. On collabore avec eux pas mal. Ça nous ferait très plaisir qu'il y ait des alternatives. Donc, je ne vois pas le... Ça hyper le super calculateur européen. Ok. Donc, pour l'instant, les alternatives, ce qui est dit... difficile, c'est qu'il manque des parties de la stack. Et pour nous, c'est beaucoup trop risqué quand on s'apprête à lancer quelque chose qui va nous coûter des millions, de ne pas savoir si en fait, au lieu de ça nous coûte un million, ça va nous en coûter cinq ou dix. Et donc ce moment de choisir un cluster, C'est un moment qui est absolument critique et où on ne peut pas se tromper.

23:23 On a choisi de partir avec ce qu'on connaissait parce qu'on voulait exécuter très très très vite. Je pense que pour changer de hardware, ce qu'il faut par les fournisseurs de hardware ou de supercalculateurs, c'est vraiment avoir une façon simple de nous montrer que ça va marcher. Et qu'on va réussir à s'en servir. Vous savez qu'on est aussi suivi mondialement, Timothée. Donc, il y a aussi des questions qui nous viennent, des gens qui nous regardent. Donc, j'en ai deux et après, on passera à la salle, ça ne vous embête pas. Alors, il y a Christophe qui nous demande comment allez-vous construire votre business model autour de ce modèle open source? Je peux en faire deux d'un coup ou pas? Timothée, des questions. Oui, oui. Comment on construit le business model autour du modèle open source? Et alors celle-là, je dois dire qu'elle m'échappe un peu, mais je vais essayer d'être la plus explicite. Mettre des LLM partout où c'est utile, des exemples où on ne les attendrait pas. Merci. Et ça, c'est Vincent qui nous pose cette question. Pour la première question du business model, je pense que notre vision de l'open source, c'est vraiment de donner des choses à la communauté pour surtout permettre cette recherche.

24:31 Ça ne veut pas forcément dire que si demain on a GPT-18, il sera open source dès le jour zéro. Surtout, je pense que le business model va se construire beaucoup plus tard. Une fois qu'on aura ces modèles et qu'on aura compris les usages, il y a beaucoup de choses à faire en dehors de juste servir des API. C'est un peu ça. Mine de rien, la boîte a 7 mois et c'est assez rare de trouver des boîtes qui, au bout de 7 mois, ont complètement... Tout loqué au niveau du business model. Et pour des exemples de LLM, là où on ne les attendrait pas, je pense que les LLM sont aussi des très bons algorithmes de classification. Et en fait, actuellement, on a vraiment cet usage chat. J'aimerais bien voir des utilisations, par exemple, en haute bande passante de données pour trier les choses. Ou alors vraiment, je pense, les utilisations back-end, où on ne les voit pas, qui vont arriver un jour, une fois qu'on arrivera à faire ces interactions entre les LLM et les autres outils, une fois qu'on arrivera à rendre ça bien robuste, je pense qu'il va se passer des choses assez rigolotes.

25:36 On en avait un peu parlé, mais moi, mon rêve, ce serait d'avoir un LLM directement dans mon téléphone pour avoir un assistant. Oui, ça, ça va être sympa aussi. Je pense qu'on va forcément y arriver un jour. Actuellement, je pense que Gemini a fait un truc qui est bien. Son modèle nano est très bien. Je ne sais pas s'ils sont encore au form factor où ça n'éclate pas la batterie de poser une question. Mais d'ici un ou deux ans, je pense qu'on y sera. Ça va être génial. En termes de privacy, en termes de capacité à faire des choses sans avoir besoin d'Internet, pour tous ceux qui ont la connectivité un petit peu dégradée dans le monde, ça va être un game changer. Tant qu'ils ont un bon téléphone. Je voudrais que Guillaume me dise si c'est OK. On a à peu près une petite dizaine de minutes de questions. Si je... Ah, cinq, on négocie un peu. Allez, six, parce que je pense qu'il y a plein de questions dans la salle. J'en ai vu pas... Voilà, parce que... Est-ce que les questions peuvent lever leurs mains ? Oui, comme vous avez posé une question tout à l'heure, on va peut-être demander à quelqu'un, mais on y reviendra.

26:36 Je suis désolée, je vais être très, très détestée pendant ces deux jours. Je crois qu'il y a une question de Didier, une question là, voilà. On va apprendre tout le monde, ne vous inquiétez pas. Donc si les questions peuvent être concises comme ça, on entend bien les réponses et tout le monde peut poser, sachant qu'après, évidemment, il y a des networking. C'est parti. En revanche, il faut bien parler dans le micro. Ok. Je n'en avais deux, mais du coup, je vais... C'est dans la première. Comment on reçoit, ou plutôt comment on travaille un peu le conflit intérieur entre la éco-responsabilité et l'envie d'aller toujours plus loin dans l'entraînement? La première partie, c'était éco-responsabilité? Oui. En fait, les modèles fondationnels, c'est ça la partie qui est vraiment chère en énergie. On ne le fait qu'une fois. Et c'est aussi un gros avantage de l'open source. On trouve ça un peu dommage que tout le monde s'amuse à entraîner des modèles pendant des mois. Donc le fait de rendre ça open source, ça évite un peu ça.

27:39 Je pense qu'effectivement, c'est beaucoup de ressources qui sont dépensées, il ne faut pas se planter. Je pense que c'est surtout ça, plutôt que d'aller plus loin. C'est vraiment dommage de s'arrêter en plein milieu d'un truc, où si on l'avait fait deux fois plus longtemps, il serait meilleur et il serait utilisable pendant beaucoup plus longtemps. Je pense que les gens se concentrent beaucoup sur les coûts d'entraînement. plus les coûts de déploiement qui me font peur, typiquement, si on commence à en mettre vraiment partout, et que les modèles sont gros, je pense que ça va être des coûts énergétiques énormes. Je pense qu'il y a encore des requêtes que je fais sur Google, parce que ça me semble aberrant de demander ça à ChatGPT. L'enjeu de faire des modèles petits et efficaces, il vient surtout de là pour moi. L'entraînement, je pense qu'à terme, il sera complètement mineur par rapport à... Parce que globalement, il y a des modèles qui faisaient peut-être 50 fois la taille, qui étaient moins bons que Mistral 7B aujourd'hui. Et ça, c'était il y a deux ans. C'est comme ça qu'est né Lama à Meta. On avait besoin d'un LLM avec Guillaume pour le projet qu'on faisait sur des maths.

28:43 Et l'équipe interne voulait absolument entraîner le plus gros modèle du monde. Et on disait, on ne va pas pouvoir s'en servir. Donc non. Du coup, on a fait les modèles Lama. Pendant ce temps-là, Arthur est en train de faire des théories sur comment prédire la durée d'entraînement en fonction de la taille du modèle. Guillaume, sa théorie était beaucoup plus simple. Tant que le modèle s'améliore, on continue d'entraîner. Ça a bien marché. Il y avait une autre question aussi à côté. Salut Pierre, fondateur de Flint et chief spammer officer sur le Slack de Tech.Rocks. À quel horizon tu penses qu'une majorité du software sera potentiellement développée par une ou des IA générales, spécialisées ou autres? Développer entièrement, je pense que ça va prendre un petit peu de temps, surtout du software général. Je pense que Copilot est déjà très fort. Tous les assistants de code fonctionnent pas mal et m'impressionnent de plus en plus.

29:47 Je développe assez peu en dehors de ce que je fais. Pour ce que je fais, je pense qu'on en est assez loin. Je vois pas mal d'exemples où on peut demander à ChatGPT de nous écrire une espèce d'app. J'avais vu en flap. Ce genre de trucs, je pense que ça marche pas mal. Il faut que je donne un horizon, je dirais 5 ans, on pourra peut-être faire un Flappy Bird vraiment sans regarder, peut-être 2 ans. Mais du software général, je n'y crois pas trop, parce que le software va évoluer aussi. Je pense qu'on gardera quelques humains quand même. Ah, ouf! Il y a deux questions encore, Didier, et puis monsieur pour Claude Thuré ensuite. Oui, Didier. Déjà, bravo pour tout ce que vous avez fait, c'est vraiment incroyable. Je suis très content de vous avoir aujourd'hui sur scène. J'avais une question sur le multimodal. En fait, on parle beaucoup de LLM. On sent qu'il y a une nouvelle vague qui est en train d'arriver. On essaye d'utiliser d'autres... d'autres inputs pour entraîner les modèles. Est-ce que vous allez travailler sur ces sujets aussi?

30:48 Alors oui, pour l'instant on ne l'a pas fait parce que la communauté, pour ce qui est au moins Input Image, l'a très bien fait. C'est aussi une réponse qui va bien avec la réponse sur des usages où on ne s'y attend pas trop. Je pense que les inputs par API actuellement, où on donne du texte ou des images, sont effectivement très limités. Une entreprise qui a des bonnes capacités en data science et qui aurait par exemple déjà des représentations vectorielles de certaines choses devrait pouvoir les utiliser dans les LLM. Je pense que c'est quelque chose qu'il faut qu'on rende un peu facile. Je crois qu'il y en a une avant-dernière. Et monsieur, promis, ce sera vous en dernier. Merci pour le sujet, c'est très intéressant. Alors j'ai une question, vous avez parlé du... C'est ici. C'est ici. Gardez le dessin. Voilà, c'est ici. Vous avez parlé du métier de DevOps. J'aimerais bien savoir qu'est-ce qu'ils peuvent apporter. Dans ce que vous faites?

31:50 Alors actuellement, on a un cluster avec des milliers de machines. Ce cluster, il est administré par une boîte externe. Et je pense que c'est... Tout ce savoir-faire d'avoir une base où les choses n'échouent pas, les pods sortent quand ils sont cassés, reviennent quand ils sont en forme, ça c'est quelque chose qu'on ne sait pas faire. Pour l'instant, on a externalisé ça et on trouve qu'ils font un travail formidable. On a travaillé avec d'autres administrateurs de clusters qui étaient beaucoup plus... C'était probablement des très bons sysadmins, mais ils avaient moins cette culture, je pense, un peu récente DevOps. Et en fait, ça fait un changement fou. Même nous, notre culture de chercheurs, on sait faire certaines choses. Il nous manque une énorme partie de la stack technique. Et avoir des bons DevOps, ça peut complètement changer les usages. Je pense que je parlais de flexibilité. Je pense qu'un DevOps, pour moi, mais j'ai peut-être une définition complètement...

32:55 en fausse du terme, c'est quelqu'un qui m'aiderait à garder cette flexibilité dans un environnement qui est ultra complexe sans que tout explose tous les matins. Une dernière question. Alors, aujourd'hui, on entend parler, tout le monde essaie d'accruster l'IA un peu partout. Comme à une époque, on essayait de faire de la blockchain partout, même pour le café. Je voudrais savoir, est-ce que, selon ton expertise, il y a des domaines problématiques pour lesquels l'IA serait inappropriée? Je pense que ça revient à ma question sur le doute. Je pense qu'il faut tester, soit ça marche, soit ça ne marche pas. Je pense qu'il y a beaucoup de domaines où ça marche. Inapproprié, je pense qu'il y a beaucoup de questions de biais, ou c'est une question d'éducation. Je pense que là, demain, si une assurance me demandait d'accepter ou non des prêts avec Mistral 7B... À moi! Je prendrais des pincettes et je pense que je leur demanderais de faire super gaffe et de se rapprocher de gens dont c'est le métier, d'étudier ses biais et de vérifier que le truc est non biaisé selon des critères stricts.

34:03 Je pense que c'est là où je prendrais des pincettes. De toute façon, a priori, ça devrait être interdit pour le traitement des CV et l'attribution des prêts, non? Aujourd'hui, non. À peu près, c'était encore en débat ce matin. Merci beaucoup à tous les deux. Merci Charles de nous avoir... Emmenez Timothée comme ça, c'était extra. Je vous laisse repartir tranquillement par la gauche avec vos micros. Merci beaucoup, c'est passionnant. C'est incroyable. Et on souhaite encore longue vie à Mistral. Voilà.