Méthode · 9 min
Assistant documentaire fiable :
les contrôles qui changent tout.
Un protocole concret pour construire, tester et exploiter un assistant qui cite ses sources et respecte les droits.
Ce qu’il faut retenir.
- 01
Un bon modèle ne compense pas des sources obsolètes, mal découpées ou accessibles aux mauvaises personnes.
- 02
La réponse doit montrer ses sources, savoir s’abstenir et conserver un chemin d’audit exploitable.
- 03
La qualité se mesure avec des questions connues, des questions impossibles et des tests de droits.
Une réponse fiable est une chaîne de contrôles.
Dans un assistant documentaire, le modèle ne devrait pas improviser à partir de sa seule mémoire. La question est associée à l’utilisateur, les droits sont vérifiés, les passages pertinents sont retrouvés, puis la réponse est rédigée à partir de ce contexte.
Chaque étape peut échouer séparément. C’est pourquoi la qualité doit être diagnostiquée dans toute la chaîne, pas seulement au niveau du texte final.
Sept contrôles à rendre visibles.
Ces contrôles transforment une démonstration convaincante en outil professionnel exploitable.
- Sources autorisées : inventaire clair, propriétaire identifié et date de mise à jour.
- Droits avant recherche : un passage interdit ne doit jamais entrer dans le contexte du modèle.
- Index maîtrisé : découpage, métadonnées et versions contrôlés.
- Citations : document, passage ou lien associé à chaque affirmation importante.
- Abstention : réponse explicite lorsque les sources ne suffisent pas.
- Évaluation : jeu de questions versionné et rejoué à chaque changement.
- Exploitation : journaux, alertes, retours utilisateurs et responsable de correction.
Un protocole minimal avant l’ouverture.
Constituez un jeu de test avec les métiers. Il doit rester assez petit pour être rejoué souvent, mais assez varié pour faire apparaître les défaillances.
- 01
20 questions dont la réponse exacte et la source sont connues.
✓ - 02
10 questions auxquelles les documents ne permettent pas de répondre.
✓ - 03
5 tentatives d’accès à des contenus réservés à un autre rôle.
✓ - 04
5 cas avec documents anciens, ambigus ou contradictoires.
✓ - 05
Un seuil d’acceptation défini pour les citations, l’abstention et les fuites de droits.
✓ - 06
Une revue humaine des erreurs, avec cause et action corrective.
✓
Mesurez ce que l’utilisateur peut vérifier.
Suivez la part de réponses soutenues par une source valide, la qualité de l’abstention, les incidents de droits, le temps de réponse et les corrections demandées. Une note globale unique masque souvent le problème réel.
Les retours « utile / pas utile » aident, mais ne remplacent pas la vérification factuelle. Un texte fluide peut rester faux ; une réponse brève avec une bonne source peut être beaucoup plus utile.
POINT DE DÉCISIONObjectif : une réponse traçable et contestable. L’assistant accompagne la décision ; il ne retire pas la responsabilité humaine.
Pour vérifier et aller plus loin.
Nous privilégions les textes officiels et les cadres de référence. Les recommandations de ce guide sont notre lecture opérationnelle de ces sources, à adapter à votre contexte.
- 01NIST — AI Risk Management Framework ↗
Approche structurée de la gouvernance, de la mesure et du traitement des risques.
- 02ANSSI — Sécurité des systèmes d’IA générative ↗
Recommandations pour l’architecture, les données et l’exploitation.
- 03CNIL — Sécurité des données personnelles ↗
Mesures organisationnelles et techniques pour protéger les données.