ITSMWORK CONSULT.
← Blog

IA · Gestion des connaissances · 2026-11-21

Assistant IA interne : que vérifier avant de lancer un pilote ?

Une méthode pour évaluer un assistant de connaissances interne : documents de référence, accès, questions difficiles et critères de décision.

Partir d’une décision utile, pas d’une démonstration

Un assistant répond correctement à trois questions pendant une démonstration. Est-il prêt à être utilisé par une équipe ? Pas encore : il faut vérifier ce qu’il fait lorsque la documentation manque, que deux procédures se contredisent ou que l’utilisateur ne possède pas les mêmes droits que son concepteur. La bonne question est donc : sur quel périmètre pouvons-nous lui faire confiance, avec quelles limites et quelle supervision ?

Nous proposons ici une méthode de préparation pour un assistant qui aide à retrouver des procédures internes. Il ne réalise aucune modification dans les outils et ne prend pas de décision à la place d’un responsable. Ce périmètre limité facilite une première évaluation. La méthode est une recommandation de travail, pas la description d’un résultat obtenu chez un client.

1. Constituer un petit ensemble de références fiables

Choisissez un besoin précis, par exemple orienter les salariés vers la bonne procédure de demande d’équipement. Réunissez les documents nécessaires et désignez un responsable pour chaque contenu. Vérifiez la date de validité, le public concerné et la procédure qui fait autorité. Une ancienne version doit être identifiée clairement ; il ne revient pas à l’assistant de deviner quelle politique l’entreprise applique.

Préparez une fiche par question importante : réponse attendue, document justificatif, conditions d’application et personne à contacter en cas d’exception. Si personne ne peut écrire une réponse de référence, le problème est d’abord documentaire. Corrigez-le avant de modifier les instructions de l’assistant. Cette préparation sert également aux équipes qui répondent aujourd’hui manuellement.

2. Vérifier les accès avec des utilisateurs représentatifs

La documentation Microsoft précise que l’intégration SharePoint décrite pour les agents Copilot Studio utilisant le moteur standard ne restitue que les contenus accessibles à l’utilisateur. Ce comportement dépend du mode d’intégration et de l’authentification configurés ; il ne faut pas le généraliser à n’importe quel fichier téléchargé ou connecteur.

Pour le pilote, définissez une matrice simple : profil utilisateur, documents autorisés et informations qui doivent rester hors de portée. Testez avec des comptes de test représentatifs, selon les règles de votre organisation, plutôt qu’avec le seul compte administrateur. Vérifiez aussi l’ouverture du lien source. Un titre de document ou un extrait peut déjà contenir une information sensible : examinez donc l’ensemble de la réponse.

3. Éprouver les réponses aux questions difficiles

Exemple entièrement fictif : une entreprise prépare vingt questions sur les demandes d’équipement. Douze portent sur des procédures documentées, quatre demandent une précision supplémentaire, deux n’ont pas de réponse dans les sources et deux concernent des informations réservées à un autre rôle. Cette répartition illustre un jeu de test ; elle ne constitue ni un seuil officiel ni une garantie de qualité.

Pour chaque cas, définissez le comportement attendu avant l’essai : répondre avec la bonne référence, poser une question, reconnaître l’absence d’information ou orienter vers le bon interlocuteur sans dévoiler le contenu interdit. Microsoft propose des jeux de tests réexécutables dans Copilot Studio. Complétez leurs résultats par une lecture humaine des cas importants : un score global ne suffit pas à valider une réponse opérationnelle.

4. Décider et prévoir la maintenance

Classez les écarts selon leur conséquence : mauvais destinataire, consigne erronée, source périmée ou divulgation. Nous recommandons de bloquer l’élargissement du pilote lorsqu’un accès indu est observé, et de définir les autres critères d’acceptation avec le métier avant les essais. Après une correction, rejouez les questions concernées et un ensemble stable de questions de référence pour détecter les régressions.

Désignez enfin qui actualise les documents, qui traite les réponses signalées et qui peut suspendre le pilote. Conservez une trace des versions testées et des décisions. ITSMWORK accompagne le cadrage des usages IA, la gouvernance des connaissances et les critères d’évaluation. Un atelier ciblé peut produire le périmètre, la matrice d’accès et le jeu de questions nécessaires à une première décision argumentée.

Sources