RAG : faire répondre une IA à partir de vos documents internes

Vos contrats, vos procédures et vos fiches techniques contiennent des réponses que l’équipe cherche chaque jour. Voici ce qu’est un RAG, le trajet d’une question de bout en bout, et ce qu’il faut préparer avant d’en brancher un : les documents, les droits d’accès et la confidentialité.

1Qu’est-ce que le RAG en IA ?

Le RAG est une façon de faire répondre un modèle de langage à partir de documents qu’il n’a jamais appris : les vôtres. Un modèle seul répond de mémoire. Avec un RAG, il répond à livre ouvert.

Le terme vient d’un article de recherche déposé en mai 2020 par Patrick Lewis et onze coauteurs, de Facebook AI Research, de l’University College London et de l’université de New York. Leur modèle consultait un index de Wikipédia avant de répondre.

Le français n’a pas de terme officiel. La CNIL écrit « génération augmentée de récupération », d’autres administrations « par récupération » : le sigle RAG reste le seul mot commun.

2Comment fonctionne un RAG, de la question à la réponse ?

Un RAG travaille en deux temps : il prépare les documents une fois, puis, à chaque question, il cherche avant de rédiger.

La préparation des documents

• Le découpage. Chaque document est coupé en passages de quelques paragraphes.
• L’index. Chaque passage reçoit une empreinte chiffrée de son sens, appelée embedding, rangée dans une base de recherche.
• La mise à jour. Un document ajouté, corrigé ou retiré repasse par ces deux étapes.

À chaque question

Le système cherche les passages les plus proches de la question, les joint à la demande, et le modèle rédige. Voici ce trajet sur un exemple.

Trois choses se lisent sur cet exemple. La réponse s’en tient aux passages. Chaque phrase renvoie à sa source, que la commerciale peut ouvrir. Et quand la base est muette, l’assistant le dit.

3RAG, long prompt ou entraînement : quelle différence ?

Il existe trois façons de faire travailler une IA sur vos documents : tout joindre à la demande, ne joindre que les passages utiles, ou réentraîner le modèle. Le RAG est la deuxième.

Anthropic donnait ce repère en septembre 2024 : au-dessous de 200 000 jetons, soit environ 500 pages, tout joindre à la demande suffit. Au-delà, le RAG prend le relais.

La CNIL retient du RAG qu’il est plus facile à adapter et qu’il laisse davantage de traçabilité. Elle ajoute qu’il demande plus de ressources et de compétences.

4Quels documents faut-il pour un RAG ?

Un RAG répète ce qu’il trouve. Un tarif périmé rangé dans la base ressort dans une réponse bien écrite, avec sa source. La qualité des réponses se joue donc avant le premier essai, dans le tri des documents.

Voici ce que nous regardons dans un dossier avant de le brancher :

• des fichiers lisibles par une machine : un PDF scanné est une image, qui passe d’abord par une reconnaissance de caractères, à relire ;
• une seule version de chaque document : la dernière validée. Les brouillons et les doublons sortent ;
• un responsable par dossier : une personne nommée, qui retire ce qui est périmé ;
• des titres et des dates : un nom de fichier parlant et une date de validité, que le système affiche comme source ;
• un périmètre réduit : nous commençons par quelques centaines de documents propres, plutôt que par vingt mille en vrac.

Les tableaux, les schémas et les plans demandent une attention à part : beaucoup d’outils les lisent mal. Nous les testons un par un, sur de vraies questions.

5Qui a le droit de lire quoi ?

L’assistant doit voir ce que voit la personne qui l’interroge, et rien de plus. Un RAG le permet : l’ANSSI note que les droits d’accès s’appliquent aux documents ajoutés à un système d’IA, alors qu’ils restent sans prise sur ce qu’un modèle a appris.

Plusieurs outils reprennent les droits qui existent déjà. Microsoft l’écrit pour Copilot : il fait remonter les seules données que la personne a au moins le droit de consulter.

Reprendre les droits, c’est aussi reprendre leurs défauts. Un dossier ouvert à toute l’entreprise par commodité, que personne n’allait chercher, devient une réponse pour tous. Microsoft fait de ce partage excessif le premier chantier de son plan de déploiement.

Deux décisions vous reviennent donc avant le branchement :

• relire les partages, dossier par dossier. L’ANSSI recommande ensuite une revue régulière des droits des outils d’IA, et cite en exemple un rythme mensuel ;
• choisir ce qui reste hors de la base : la paie, les dossiers du personnel, tout ce dont l’assistant n’a aucun besoin pour répondre.

6RAG et confidentialité : où vont vos documents ?

Un RAG fait voyager vos documents vers trois endroits. Chacun appelle une question à poser à votre fournisseur.

• L’index garde les passages et leurs empreintes. Où est-il hébergé, et qui y accède ?
• Le modèle reçoit, à chaque question, la demande et les passages retrouvés. Le contrat permet-il de les réutiliser, et combien de temps sont-ils gardés ?
• Le journal garde les questions et les réponses. Qui le lit, et quand est-il effacé ?

L’ANSSI pose la règle de prudence dans son mémento du 30 octobre 2026 : considérer que toute donnée transmise à un modèle hébergé peut être accessible à son fournisseur. Ses recommandations de 2024 proscrivent déjà les outils grand public pour un usage professionnel sur des données sensibles.

Ce que demande la CNIL

L’entreprise qui branche sa base documentaire en devient responsable dès qu’elle contient des données personnelles, écrit la CNIL. Elle en tire quatre attentes :

• des données limitées au nécessaire, dossier par dossier ;
• un contrat de sous-traitance avec l’hébergeur, quand l’index ou le modèle sont chez un tiers ;
• une réponse aux personnes qui demandent l’accès à leurs données ou leur effacement ;
• une analyse d’impact, le cas échéant, avec le délégué à la protection des données.

Pour des documents sensibles, la CNIL juge en général plus sûr un déploiement sur les serveurs de l’entreprise. Elle admet l’hébergement externe, encadré par ce contrat.

Notre note sur l’IA et la confidentialité des données lit les engagements des éditeurs offre par offre. Celle sur le shadow AI traite du contrat déposé dans un assistant grand public.

7Un RAG se trompe-t-il encore ?

Oui. Il se trompe moins qu’un modèle seul, et d’une façon qui se vérifie, puisque chaque phrase renvoie à sa source. Une étude a mesuré l’écart sur des outils professionnels.

L’étude porte sur le droit américain et sur des outils de 2024 : elle donne un ordre de grandeur. Le taux de votre assistant se mesure sur vos propres questions.

Deux pannes se cachent derrière ces chiffres :

• la recherche rate le bon passage, et le modèle répond à partir d’un passage voisin, ou de mémoire ;
• le modèle lit mal un bon passage, ou lui fait dire plus qu’il ne dit.

Un troisième risque tient aux documents eux-mêmes : une consigne cachée dans un fichier, que le système lit et suit. L’OWASP en donne un exemple : un CV porteur d’un texte blanc sur fond blanc, qui fait recommander son candidat par un outil de tri. Notre note sur les agents détaille les accès à donner à une IA qui lit des documents.

D’où trois réglages que nous posons d’office : les sources affichées sous chaque réponse, le droit de dire « je ne trouve pas », et un jeu de questions d’essai rejoué à chaque changement.

8Par où commencer ?

Par une seule question métier, et les documents qui y répondent. Un premier RAG réussi est petit : un sujet, un dossier trié, une équipe.

1. 1Une question métier.Celle que l’équipe pose dix fois par semaine, et dont la réponse est déjà écrite quelque part : un préavis, une procédure de retour, une compatibilité entre deux produits.
2. 2Un périmètre de documents.Les dossiers qui répondent à cette question, triés : une version par document, un responsable par dossier.
3. 3Les droits.Qui lit quoi aujourd’hui, relu dossier par dossier, et la liste de ce qui reste hors de la base.
4. 4Trente questions d’essai.De vraies questions, dont vous connaissez la réponse. Pour chacune, nous notons : juste, fausse, ou je ne trouve pas.
5. 5L’ouverture à une équipe.Avec les sources affichées sous chaque réponse, et un bouton pour signaler celle qui se trompe.

Le tri des documents ressemble à la reprise des données d’un logiciel métier : c’est souvent le poste le plus long. Quand la question touche le cœur du métier, le RAG gagne à vivre dans l’outil de l’équipe, avec ses droits par rôle : notre page Logiciels et IA sur mesure décrit ce que nous construisons.

Questions fréquentes

Sur le même sujet

Agent IA : ce que c’est, ce qu’il fait en PME, comment l’encadrer IA Pour comprendre Lire la note IA et confidentialité des données : ce que nous confions à une IA, et ce que nous gardons pour nous IA Pour comprendre Lire la note Logiciel métier : ce que c’est, et comment choisir entre standard et sur mesure Outils métier Pour comprendre Lire la note