ConcluantEXP-05iones labMis à jour le 16 octobre 2026
RAG & Hermes Agent : de 11 % à 2 % d’hallucinations sur 1 200 documents internes
La questionPeut-on donner à nos équipes une réponse fiable et sourcée sur n’importe quel projet, en moins de trois secondes, à partir de notre documentation existante ?
Verdict
Oui, à condition d’imposer la citation des sources et de refuser de répondre quand aucun passage ne soutient la réponse. Le reclassement fait la différence, pas le modèle.
DécisionAdopté. Intégré à Jarvis, notre assistant interne, et utilisé quotidiennement par l’équipe.
- Statut
- Concluant
- Durée
- 4 semaines
- Équipe
- 2 développeurs, 1 architecte
- Stack
- Hermes Agent
- pgvector
- BM25
- Cohere Rerank
- Claude
- MCP
0,84précision à 5 résultatscontre 0,72 sans reclassement, 0,61 en vectoriel seul
2 %réponses avec hallucinationcontre 11 % sur le premier prototype
2,1 slatence médianede la question à la réponse complète
1 200documents indexés38 000 passages
01
Contexte
Trois ans de projets, ça fait déjà beaucoup de documentation : spécifications, comptes rendus, procédures de déploiement, décisions d’architecture, tickets. Tout existe, mais retrouver « pourquoi on a choisi cette règle de calcul de TVA sur le projet X en 2023 » prend souvent plus de temps que de redemander au collègue qui s’en souvient. Et il n’est pas toujours là.
Un premier prototype de recherche par similarité, monté en deux jours, donnait des réponses convaincantes. Trop convaincantes : en relisant une centaine de réponses, nous en avons trouvé onze qui inventaient un détail, avec un aplomb parfait. Le lab a donc pris le sujet avec un objectif clair : mesurer, puis réduire ce taux jusqu’à un niveau acceptable pour un usage quotidien.
02
Ce qu’on a testé
Nous avons constitué un corpus de 1 200 documents issus de six projets terminés, découpés en 38 000 passages, et un jeu de 180 questions rédigées par les chefs de projet, avec la réponse attendue et le document source. Le jeu comptait aussi des questions dont la réponse ne figure pas dans la documentation. Chaque variante du pipeline a été évaluée sur ce même jeu.
- V1 : recherche vectorielle seule (embeddings, pgvector), 5 passages envoyés au modèle.
- V2 : recherche hybride, vecteurs + BM25 fusionnés, pour rattraper les termes exacts (noms de tables, codes d’erreur, références de tickets).
- V3 : V2 plus reclassement des 30 premiers passages par un modèle de rerank, 5 conservés.
- V4 : V3 plus consigne stricte : chaque affirmation doit citer un passage, et le modèle doit répondre « je ne trouve pas » si aucun passage ne soutient la réponse.
- Skills Hermes Agent : Hermes Agent est le cadre d’agents open source de Nous Research, et ses skills sont des compétences réutilisables. Nous en avons écrit une par type de question (procédure, décision, chiffre), qui adapte la requête et le format de réponse.
03
Résultats
- 0,61
- précision@5 en vectoriel seul (V1)
- 0,72
- précision@5 en hybride (V2)
- 0,84
- précision@5 avec rerank (V3)
- 2%
- hallucinations avec citations obligatoires (V4)
Le reclassement est le levier le plus rentable. Passer de V2 à V3 coûte 180 ms de latence et améliore la précision de 12 points. Changer de modèle d’embeddings, en revanche, n’a déplacé la mesure que de 2 points. Nous avons cessé de comparer les modèles et concentré l’effort sur la chaîne de recherche.
De 11 % à 2 % d’hallucinations, sur toute la chaîne. Les 11 % ont été relevés sur le premier prototype, les 2 % sur la V4, qui ajoute aussi la recherche hybride et le reclassement : l’écart tient à l’ensemble, pas à la seule consigne de citation. Avec cette consigne, le modèle répond « je ne trouve pas dans la documentation » sur 9 % des questions du jeu. C’est frustrant, mais neuf fois sur dix la réponse n’existait effectivement pas dans le corpus. Les 2 % d’hallucinations restantes sont des raccourcis entre deux passages proches, sur des projets aux règles métier similaires.
- La recherche hybride règle presque tous les échecs sur les identifiants exacts : un code d’erreur ou un nom de table ne se retrouve pas par similarité sémantique.
- Les skills Hermes Agent améliorent surtout la forme : une procédure rendue en étapes numérotées, une décision avec ses alternatives écartées. Gain de précision faible, gain d’usage réel.
- La latence médiane de 2,1 s est tirée par la génération, pas par la recherche (280 ms tout compris).
- Découpage des passages : 400 tokens avec chevauchement de 80 a donné les meilleurs résultats. Plus court perd le contexte, plus long dilue la réponse.
04
Ce qu’on en conclut
Un RAG fiable est d’abord un moteur de recherche fiable. Le modèle de langage ne fait que reformuler ce qu’on lui donne ; si la recherche ramène le bon passage, la réponse est bonne. Nous avons passé 80 % du temps du lab sur l’indexation, la fusion et le reclassement, et c’est là qu’étaient les gains.
La contrainte de citation change le rapport de confiance. Une réponse sourcée peut être vérifiée en un clic, une réponse non sourcée doit être crue sur parole. Nous n’exposerons jamais à un client un assistant qui ne cite pas ses sources.
« Le jour où l’outil a répondu « je ne trouve pas » à une question dont j’étais sûr de connaître la réponse, j’ai vérifié : la doc n’existait pas. On l’a écrite. »
05
Et maintenant
- Le pipeline V4 est intégré à Jarvis, notre assistant interne, et indexe désormais la documentation de tous nos projets actifs, avec réindexation chaque nuit.
- Les questions « je ne trouve pas » sont remontées chaque semaine aux chefs de projet : c’est devenu notre meilleur détecteur de documentation manquante.
- Prochaine étape : évaluer le même pipeline sur la documentation d’un client, avec cloisonnement strict par projet.
Jarvis est ensuite passé d’un assistant qui répond à un agent qui trie nos tickets de support : c’est la fiche EXP-06, Jarvis & OpenClaw.