Il y a une fée en bas à droite de cette page
En ce moment même, une petite fée flotte en bas à droite de cet article. Elle s’appelle Pixie. Parlez-lui, elle vous répond.
(Essayez donc. Elle répond en général en deux ou trois secondes.)
Cette fée n’utilise aucun service d’IA externe. Ce que vous tapez n’est envoyé nulle part. Une seule machine, que nous administrons, le reçoit, y réfléchit et répond depuis là.
Autrement dit, c’est nous qui payons sa facture d’électricité.
Pourquoi se donner cette peine ? C’est le sujet de cet article.
Tout est parti de « bon, elle vaut quoi, concrètement ? »
Faire tourner une IA à l’intérieur d’un serveur administré par sa propre entreprise. Cela s’appelle un private LLM, et nous savions depuis un moment que cette option existait.
Ce que nous n’arrivions pas à évaluer, c’était sa vraie capacité. Vous pouvez lire tous les articles d’introduction du monde, vous ne saurez toujours pas si ça tient la route sur du travail réel. Ce genre de question ne se tranche qu’en la faisant tourner.
Ce qui nous a décidés, c’est l’argent.
Aujourd’hui, chaque système que nous construisons s’accompagne de la question « vous pouvez y ajouter de l’IA aussi ? ». Nous sommes ravis qu’on nous la pose. Le hic, c’est que les API d’IA se facturent à l’usage. Sur les projets clients, ce coût est porté par le client : l’affaire est simple. Sur nos propres produits, c’est autre chose. On construit la fonctionnalité une fois, mais l’argent continue de sortir tant qu’elle tourne.
Même chose pour les abonnements d’IA côté développement. Une licence, ce n’est rien. Multipliez par la taille de l’équipe et le chiffre cesse d’être drôle.
Nous étions donc coincés dans une boucle. Impossible de savoir si c’est suffisant sans essayer — mais essayer coûte de l’argent.
À ce stade, en poser une sur notre propre bureau a commencé à ressembler à la décision raisonnable.
Réponse courte : elle fait à peu près tout
C’est ce qui nous a le plus surpris.
Presque tout ce que fait un service d’IA externe, une IA privée le fait aussi.
Quand on entend « auto-hébergé », on imagine volontiers une version amputée. Jusqu’ici en tout cas, ce n’est pas ce que nous avons constaté.
- Rédiger, résumer, retravailler une formulation
- Traduire
- Extraire la seule chose utile d’un long fil de discussion
- Lire des photos et des captures d’écran
- Prendre un PDF, un Word ou un Excel tel quel et répondre sur son contenu
- Répondre à partir des documents internes de l’entreprise plutôt que de connaissances générales
- S’intégrer comme fonctionnalité dans nos propres applications et services
Nous imaginions quelque chose de plus proche d’« un moteur de recherche un peu malin, texte uniquement ». La première fois que nous lui avons tendu une image et qu’elle l’a simplement lue, nous nous sommes sentis un peu bêtes.
Bien sûr, comparée frontalement aux tout meilleurs modèles, il y a un écart. Dès qu’il s’agit de concevoir quelque chose de complexe à partir de zéro, nous nous appuyons toujours sur les bons services externes. Mais l’essentiel de ce que nous voulons déléguer au quotidien est déjà couvert par l’IA qui tourne chez nous. C’est le constat honnête.
Cela dit, il ne s’agit pas d’avoir branché la prise et que tout ait marché.
Quel modèle choisir, comment le configurer, comment lui donner nos documents internes : tout cela s’est réglé point par point, et mettre l’environnement d’aplomb a demandé du vrai travail. Cela dit, le processus lui-même était plaisant. Étudier son équipement, l’ajuster, descendre dans le donjon et tester. On se serait cru dans un hack and slash.
Tout écrire ici serait beaucoup trop long, donc la partie construction fera l’objet d’un autre article.
Ce qui a changé, ce n’est pas la qualité, c’est le nombre d’essais
Plus que la puissance brute, ce qui a compté, c’est que tester soit devenu gratuit.
Cela paraît évident, mais : on a beau l’utiliser, la facture ne grossit pas.
Avant, dix essais voulaient dire payer dix essais. Il y avait donc toujours ce temps d’arrêt où l’on se demandait « ça vaut le coup d’essayer ? ». Ce temps d’arrêt revenait à chaque fois.
Il n’est plus là.
L’effet le plus net s’est fait sentir sur nos propres produits. Quand quelqu’un se dit « ce serait sympa de confier cette partie à l’IA », il peut simplement essayer. Avant, l’idée se heurtait immédiatement à la discussion sur le coût, et mourait généralement à cet endroit précis.
La facture d’électricité, au passage, est arrivée bien en dessous de ce à quoi nous nous étions préparés. Une bonne surprise.
Ce que nous lui faisons faire aujourd’hui
Voici une partie de ce qui tourne.
Guide du site La fée du début de l’article. Elle répond à « quels services proposez-vous ? » et « vous êtes qui, au juste ? ». Personne n’a besoin de rester derrière, et elle ne se plaint pas qu’on la sollicite à deux heures du matin.
Transformer les conversations en tâches Nous avons relié le private LLM à l’application de chat que nous nous sommes construite, et il extrait les choses à faire du fil de la conversation. Ce qui disparaissait autrefois après un « bon, c’est acté » reste désormais vraiment sur la liste.
Rapprocher les langues Le japonais, l’anglais et le malais circulent dans l’équipe, donc la traduction revient tous les jours. Et en volume : exactement le genre de travail qui s’accumule discrètement quand on l’envoie à une API externe.
À côté de cela, nous lui confions aussi entièrement des tâches plus modestes : des chatbots simples, une première vérification du type « on peut publier ça ? ».
Mis côte à côte, ces usages ont deux points communs.
Le premier : aucun ne fonctionne sans lui confier de vraies informations internes. Noms de clients, montants, choses qui ne sont pas encore publiques. Pas un caractère de tout cela ne peut partir vers un service extérieur.
Le second : aucun ne réclame un niveau d’intelligence 100. Ce qui compte, c’est l’écart entre zéro et un. Pas de traduction du tout, contre une traduction qui se lit correctement. Personne qui relit, contre une première relecture qui existe. C’est cet écart-là qui est important, et tout ce qui vient après — « oui, mais en plus intelligent » — relève franchement du bonus.
Il y a finalement bien moins de tâches que seule la meilleure IA du monde sait faire. Une fois cela compris, l’éventail de ce que nous acceptons de déléguer s’est élargi rapidement.
(L’application de chat elle-même, nous l’avons construite aussi, mais c’est le sujet d’un autre article.)
C’est aussi excellent pour la confidentialité
Le véritable obstacle à l’entrée de l’IA dans le travail n’est pas technique. C’est de décider ce que l’on a le droit de lui donner. Noms de clients, montants d’un devis, plans non publiés, discussions RH. Une grande partie du travail pour lequel on aimerait de l’aide contient précisément des informations qui ne peuvent pas sortir.
Beaucoup d’entreprises répondent en interdisant l’IA au travail. Sauf que cela ne l’arrête qu’à l’intérieur de l’entreprise.
Quelqu’un qui a une échéance sur le dos sortira son téléphone personnel et fera faire le travail là. Il n’y a aucune malveillance là-dedans. Nous vivons déjà à une époque où l’IA fait partie de la façon de travailler. Et l’entreprise, elle, n’a aucun moyen de savoir ce qui est sorti.
C’est exactement comme l’interdiction de fumer. Interdire ne fait pas disparaître une chose. Cela la rend invisible.
Un private LLM constitue, selon nous, une vraie réponse à cela — et plus les informations manipulées sont sensibles, plus l’intérêt est grand. Une société cotée doit pouvoir expliquer après coup qui a saisi quoi. Un cabinet d’avocats ou d’expertise comptable est tenu au secret professionnel. Une administration doit décider où les données des administrés ont le droit de se trouver. Dans la santé, où une erreur pèse lourd, le premier pas n’est tout simplement jamais franchi. Aucun de ces cas ne bloque sur la façon d’utiliser l’IA. Ils bloquent tous sur l’endroit où la mettre.
Malgré tout, nous n’avons pas tout rapatrié
Pour être clairs : nous n’avons pas cessé d’utiliser des IA externes.
Pour le développement, nous payons toujours des IA externes. Sur les problèmes difficiles, demander au modèle le plus puissant est tout simplement plus rapide. Nous utilisons les deux.
Il ne s’agit donc pas de débattre de laquelle a raison.
Le travail qui peut sortir sort. Celui qui ne peut pas reste ici.
Ce qui compte, c’est de savoir qui trace cette ligne. Si c’est vous, vous pouvez la déplacer quand vous voulez.
Nous mettons aussi discrètement au point un agent de développement qui tourne sur le private LLM, avec pour objectif de finir par développer entièrement sur notre propre machine.
« On n’envoie rien dehors » n’est pas quelque chose que la bonne volonté peut garantir
Un mot sur la mécanique. On lit parfois l’explication « notre politique est de ne rien transmettre à l’extérieur ». La bonne volonté n’a jamais tenu cette ligne. Il faut que ce soit impossible, pas seulement déconseillé.
Ce que nous faisons est assez simple : il y a un unique poste de contrôle entre l’utilisateur et l’IA. Tout ce qui passe et tout ce qui ne passe pas s’y décide. Le point important, c’est que ce poste se trouve de notre côté — et c’est aussi pour cela que les règles peuvent être modifiées ensuite.
En gros, voici ce que nous avons arrêté :
- Le trafic sortant est bloqué par défaut. Ce qui est autorisé est nommé explicitement
- Qui a demandé quoi est consigné — non pour prendre quelqu’un en faute, mais pour pouvoir répondre si on nous le demande
- Chaque usage a un périmètre défini, et l’IA n’en sort pas
- Si ce n’est pas dans les documents, la réponse est « cela n’y figure pas »
Ce dernier point est discrètement excellent. On peut la configurer pour qu’elle ne bluffe pas. C’est la réponse la plus concrète que nous ayons trouvée à l’inquiétude que tout le monde soulève : « et si elle inventait avec aplomb ? »
Cela dit, en toute honnêteté : aucune architecture ne ramène le risque à zéro. Plutôt que de promettre une garantie parfaite, il est plus réaliste de décider à l’avance ce qui sort et jusqu’où.
Pour finir
Vous vous dites peut-être que tout cela est trop lourd pour votre entreprise. Nous avons commencé avec une seule machine. Nous avons ajouté un onduleur pour qu’elle ne tombe pas lors d’une coupure de courant, mais cela s’arrête à peu près là.
Pour terminer, allez donc parler à la fée en bas à droite.
Ce qui compte avec cette fée, c’est que nous pouvons la laisser ouverte à tout le monde, gratuitement. Si elle tournait sur une API facturée à la requête, chaque conversation gonflerait une facture et nous ne pourrions pas nous permettre autant de générosité. Elle vit d’électricité, donc la porte peut rester ouverte.
Pendant les quelques secondes qu’elle met à répondre, rien de ce que vous avez écrit ne quitte nos locaux. Il n’y a vraiment que cela.
Sauf que nous avons vu trop d’entreprises ne jamais se lancer dans l’IA uniquement parce que cette question-là n’avait jamais été tranchée. Cela nous semble dommage.
Si cet article vous a donné envie de savoir ce que cela donnerait chez vous, la page infrastructure private LLM pourra elle aussi vous être utile. Et vous pouvez nous écrire quand vous voulez : nous serons ravis d’en parler.