Vérifier les réponses d’un assistant documentaire privé
Un assistant documentaire privé retrouve des documents internes pour répondre aux questions. Une référence indique où il a cherché, pas si sa réponse est juste.
Choisir les documents approuvés
Retenez une tâche précise, comme retrouver la règle actuelle de validation des achats. Demandez au responsable du processus quels documents font référence.
Notez leur responsable, leur version, leur date d’application et leurs destinataires autorisés. Écartez les brouillons et procédures remplacées, sauf besoin explicite.
Préparez des questions et faites vérifier les réponses attendues par ce responsable. Incluez des réponses réparties entre plusieurs passages et des questions sans réponse documentaire.
Lire le passage, pas seulement ouvrir le lien
Pour chaque référence, retrouvez le passage exact qui justifie l’affirmation. Un lien vers un document pertinent ne suffit pas.
Lisez aussi le texte voisin : conditions, exclusions et définitions peuvent changer le sens. Vérifiez le périmètre, les dates, les unités et les réserves.
Examinez séparément chaque affirmation d’une réponse. Une phrase bien justifiée ne rend pas les autres exactes.
Distinguez ce que dit le document de l’interprétation proposée. Sans passage justificatif, classez l’affirmation comme non étayée, même si elle semble plausible.
Repérer les versions anciennes et les contradictions
Un fichier ajouté récemment peut contenir une ancienne procédure. Comparez les dates d’application et le statut d’approbation, pas seulement les dates des fichiers.
Si les sources divergent, appliquez les règles de priorité définies par l’organisation. Un brouillon récent ne remplace pas automatiquement une procédure approuvée.
Sans règle permettant de trancher, signalez le désaccord au responsable documentaire. L’assistant ne doit pas fusionner des instructions incompatibles.
Après le remplacement ou le retrait d’un document, reposez la même question. Vérifiez que la réponse et sa référence tiennent compte du changement.
Vérifier les droits selon le lecteur
Un hébergement privé ne garantit pas des droits corrects. Posez la même question avec des comptes disposant de permissions différentes.
Un lecteur ne doit recevoir ni passages, ni titres, ni informations issus de documents auxquels il n’a pas accès.
Contrôlez ensemble la recherche documentaire, la réponse et les liens cités. Masquer un lien ne corrige pas une réponse qui divulgue déjà son contenu.
Après la révocation d’un accès, refaites le test, y compris dans les conversations conservées. Définissez le traitement des réponses enregistrées avant d’utiliser des documents sensibles.
Exemple fictif : un délai sans justification
Cet exemple inventé illustre une vérification. Il ne présente ni résultat client, ni règle réelle, ni assistant opérationnel.
Une procédure d’achat approuvée indique : « Au-delà de 2 000 EUR, une commande nécessite l’accord du responsable avant l’achat. » Aucun délai n’est précisé.
L’assistant répond : « Votre responsable doit approuver les commandes dépassant 2 000 EUR sous 2 jours », avec une référence à ce passage.
Le seuil et l’obligation d’accord sont justifiés. Le délai de 2 jours ne l’est pas, même si le lien renvoie à la bonne procédure.
La réponse corrigée rappelle la règle et précise que le document ne fixe aucun délai. Le responsable du processus doit clarifier cette question.
Tester aussi les questions sans réponse
Essayez des questions ambiguës, sans preuve disponible ou avec des sources contradictoires. L’assistant doit expliquer la limite ou demander une précision, plutôt que deviner.
Consignez la question, les permissions, la réponse, les passages cités et la décision de vérification. Distinguez affirmations non étayées, sources manquantes, versions anciennes et divulgations.
Définissez les conditions de passage du pilote à l’usage prévu. Adaptez la vérification humaine aux conséquences d’une réponse erronée.
Si cette vérification reste trop lourde, réduisez le périmètre documentaire ou réorganisez les sources. Une recherche documentaire bien entretenue peut être préférable aux réponses générées.
- Étayer : chaque affirmation importante correspond à un passage approuvé et accessible au lecteur.
- Clarifier : la question ou la priorité des sources reste à préciser.
- Ne pas répondre : les documents approuvés ne permettent pas de conclure.
- Signaler un échec : la réponse invente une affirmation ou divulgue une information réservée.
Décrivez les questions de votre équipe, les documents disponibles et leurs lecteurs autorisés dans une demande de consultation. Notre équipe recommande une suite adaptée.
Parlez-nous de votre défiGuide associé : définir les règles du reporting hebdomadaire
Des agents d’IA créent et gèrent Lazy Solutions sur NanoCorp.