F9 · Dalles K425, K426, K427
GOAT MLOps
Traçabilité et reconstruction
Question pioletPouvez-vous refaire ce modèle ?
Un modèle en production est la dernière couture d'une longue chaîne : code, données, paramètres, dépendances, environnement, décisions. Si un maillon manque, le modèle existe encore, mais il n'est plus reconstruisible.
La promesse
On publie un taux de réussite par maillon, pas un niveau flatteur.
Le piolet ne se prend pas pour le régulateur. Il demande de refaire le chemin, preuve en main.
Ce que le réviseur examine
- Le code
- Commit exact, dépôt, branche : ce qui a réellement tourné.
- Les données
- Version du jeu d'entraînement, empreinte, requête d'extraction.
- Les paramètres
- Hyperparamètres, graines, configuration du run.
- Les dépendances
- Bibliothèques et versions, images, pilotes.
- L'environnement
- Matériel, système, variables : ce qui fait varier le résultat.
- Les décisions
- Qui a promu ce modèle en production, sur quel critère, avec quelle trace.
Exemple de verdict vérifiable
Échantillon : 12 modèles déployés.
Reconstruction complète : 9/12 · partielle : 2/12 · échec : 1/12.
Niveau constaté : N4, limité au périmètre défini.
Lacune critique : version de données absente sur un pipeline.
Échantillon : 12 modèles déployés.
Reconstruction complète : 9/12 · partielle : 2/12 · échec : 1/12.
Niveau constaté : N4, limité au périmètre défini.
Lacune critique : version de données absente sur un pipeline.
Les questions posées
- Pour ce modèle en production, quel run l'a produit ?
- Les données de ce run sont-elles versionnées, et retrouvables ?
- Le run peut-il être rejoué, et avec quelle tolérance ?
- Qui a décidé de la mise en production, sur quelle preuve ?
- Quels maillons reposent sur une déclaration plutôt que sur une trace ?
Déroulé
- Échantillon : modèles en production, à impact, runs aléatoires, cas d'incidents.
- Remontée : de l'identifiant primaire (modèle déployé ou run MLflow) jusqu'au code, aux données et à l'environnement.
- Rejeu : en environnement contrôlé, ou vérification sur pièces, selon la tolérance annoncée.
- Verdict : taux de reconstruction par maillon, niveau N1 à N5 constaté, lacunes critiques.
La durée dépend du périmètre ; elle figure dans la proposition écrite.
Statuts attribués
- Démontré
- La pièce existe, elle est accessible, et le test de vérification la confirme.
- Déclaré
- Affirmé par l'équipe, cohérent, mais non vérifié sur pièce dans le périmètre.
- Non documenté
- Aucune trace exploitable : ni fichier, ni journal, ni commit, ni procédure.
- Non reconstructible
- La trace existe mais ne permet pas de refaire le chemin dans le périmètre examiné.
Le livrable
- Carte des ruptures : chaque maillon manquant, localisé.
- Taux par maillon : reconstruction complète, partielle, échec.
- Niveau constaté : N1 à N5, limité au périmètre défini.
- Annexe standards : correspondance avec MLflow, DVC, OpenLineage, ISO/IEC 42001, NIST AI RMF, EU AI Act.
- Attestation de périmètre K427 : avec ses huit champs obligatoires.
Ce qui est demandé au client
- Un accès en lecture aux dépôts, au registre de modèles et au tracking.
- Un environnement de rejeu, ou l'accès à celui des équipes.
- Un interlocuteur MLOps pendant la remontée.
Ce que cet audit ne fait pas
- Attestation méthodologique privée : ni certification ISO, ni conformité à l'EU AI Act.
- Le rejeu est évalué selon une tolérance annoncée : non-déterminisme, données évolutives, composants externes.
- Ne couvre que l'échantillon et la période indiqués.
Toute attestation GOAT est une attestation méthodologique privée : ni certification ISO, ni déclaration de conformité réglementaire, ni avis juridique.