← PortfolioENPrendre rendez-vous

Projet 03 · Intelligence artificielle

Thot

Nos propres modèles d'intelligence artificielle, servis par nos machines, derrière une API que tout outil compatible OpenAI sait appeler.

Conception, serveurs, réglagesEn servicellama.cpp · Python · GPU

Le problème

Brancher une entreprise sur l'IA d'un géant américain, c'est lui confier ses données et dépendre de ses prix. Je voulais nos modèles, sur nos cartes graphiques, en France — et la même façon de les appeler que les grands, pour que n'importe quel outil s'y branche.

Ce que j'ai construit

  • Une passerelle unique qui annonce les modèles disponibles et envoie chaque demande vers la bonne machine.
  • Sept modèles : raisonnement, agents et code (Titan 1, 35 milliards de paramètres, réparti sur deux serveurs), réponses rapides (Velocity 1), recherche par le sens, création d'images, voix (parler et écouter), lecture de documents.
  • Une page d'état publique, relevée toutes les deux minutes : rien n'y est écrit à la main, une panne s'y voit.
  • Des réglages mesurés : le premier mot de Titan 1 est passé de 6,2 s à 1,2 s (un cache retiré sur un serveur à court de mémoire) ; une réponse courte, de 87 s à 4 s en coupant la réflexion quand elle ne sert à rien.

En chiffres

7modèles d'IA
3machines : deux serveurs et un PC
6,2 → 1,2 spremier mot de Titan 1
87 → 4 sréponse courte, réflexion coupée

Comment

Les modèles tournent avec llama.cpp et d'autres moteurs ouverts, sur des cartes graphiques que nous gérons nous-mêmes ; le plus gros est réparti entre deux serveurs. Chaque réglage est mesuré avant et après, et l'état public vient de la passerelle elle-même.

En direct

La page d'état des modèles, en direct
La page d'état des modèles, en direct