Notre practice logiciel & IA traite les applications LLM comme toute autre surface de production : SLO, ownership et évaluation—pas seulement le prompt. Les thèmes MLOps sérieux s’appliquent : frontières de données, reproductibilité et monitoring qui explique pourquoi une mauvaise réponse est apparue.
Périmètre orienté valeur. Partir de flux à gain mesurable—déviation support, recherche interne, rédaction documentaire avec relecture humaine—et non de « discuter avec toute notre base de connaissances » comme science-fiction.
Données sécurisées. Masquage PII, contraintes de résidence et isolation multi-locataire sont des inputs de conception. La couche de retrieval doit respecter l’autorisation des systèmes sources, pas seulement l’UI.
Évaluation exécutable par les ingénieurs. Jeux de données gold, régression auto sur prompts et contrôles en ligne (toxicité, fuite) vivent dans la CI avec les tests unitaires. Si seuls les chercheurs lancent les evals, elles ne tourneront pas au release.
Agent dans la boucle. Pour les domaines à enjeux, coupler automatisation et points de contrôle humains explicites, avec télémétrie sur le taux de contournement—ces signaux disent si le modèle ou le processus dérive.
RAG, outils et fine-tuning ont chacun leur place ; la discipline est de choisir la plus petite combinaison qui tient la barre, puis durcir. Les modèles fancy compensent rarement une ingestion bancale ou une observabilité absente.
À lire aussi : stratégie IA & MLOps, conseil DevOps et ressources.