F2 · Dalles K412, K418, K419
INFERNAI
Audit d'abstraction
Question pioletOui. Mais par quoi est-ce connecté ?
Même mot ≠ même objet. Un moteur de recherche interne, un RAG ou un traducteur automatique fusionne volontiers des choses différentes parce qu'elles portent le même nom.
La promesse
INFERNAI repère ces fusions, les nomme, et propose une séparation nette : domaine, objet, mécanisme.
Le mot reste, la chose fuit. Un dictionnaire est un pipeline : il a ses points de rupture.
Ce que le réviseur examine
- Les homonymies de domaine
- Maille de tricot, maillage réseau, mesh Wi-Fi : trois objets, un seul mot, et une réponse qui les confond.
- Les glissements de traduction
- Le terme traduit arrive dans l'autre langue avec un autre périmètre. Même mot traduit ≠ même objet conceptuel.
- La Chicorée
- Ce qui a le goût du concept sans en être : la réponse plausible qui remplace la réponse sourcée.
- Les métaphores promues au rang de faits
- Une image commode devient une hypothèse de travail, puis une affirmation.
- Les références orphelines
- Des citations restituées par le système sans document source retrouvable, daté, vérifiable.
Les questions posées
- Quels termes votre corpus emploie-t-il dans plusieurs domaines à la fois ?
- Le système distingue-t-il l'objet décrit du mot qui le désigne ?
- Une réponse générée cite-t-elle un passage réel, retrouvable et daté ?
- Que se passe-t-il quand deux documents emploient le même mot pour deux choses ?
Déroulé
- Cadrage : corpus, cas d'usage, langues, et liste des termes sensibles.
- Jeu d'épreuve : construction de questions de test bâties sur les termes ambigus du corpus.
- Examen : chaque réponse est confrontée à ses sources ; chaque fusion est qualifiée.
- Restitution : rapport des fusions, recommandations de typage, séance avec les équipes produit.
La durée dépend du périmètre ; elle figure dans la proposition écrite.
Statuts attribués
- Solide
- La couture est documentée et tient à l'examen : la pièce existe, le test la confirme.
- Provisoire
- Elle tient, mais la preuve est incomplète, datée ou limitée à une partie du périmètre.
- Métaphorique
- Le mot relie ce que la chose ne relie pas. La flèche est une image, pas un mécanisme.
- Inexistante
- La flèche est dessinée, rien ne la porte. Entropie déguisée en valeur.
Le livrable
- Liste des fusions détectées : chacune avec un exemple reproductible.
- Séparation proposée : domaine, objet, mécanisme, pour chaque fusion.
- Recommandations de typage fort : métadonnées, filtres, glossaire contrôlé.
- Déréférencement : contenus à retirer, isoler ou requalifier.
- Jeu de questions d'épreuve : réutilisable après correction.
Ce qui est demandé au client
- Un accès au corpus, ou à un échantillon représentatif.
- Un accès de test au système examiné.
- Quelques requêtes réelles, anonymisées.
Ce que cet audit ne fait pas
- Ne mesure pas la performance globale du modèle : ce n'est pas un benchmark.
- Ne promet pas un taux de réduction des erreurs : il nomme les fusions.
- Ne modifie pas le système : les corrections restent aux équipes.
Toute attestation GOAT est une attestation méthodologique privée : ni certification ISO, ni déclaration de conformité réglementaire, ni avis juridique.