Stopper les hallucinations de l’IA

Une démo d'IA multimodale impressionne toujours. En production, les mêmes scénarios se heurtent à des scans de travers, des photos floues et des instructions trop vagues. Le modèle n'est pas en cause : les réponses ne tiennent que si elles reposent sur des données fiables, bien indexées et contrôlées en continu.

Cet article montre comment limiter les hallucinations avec un RAG solide, la recherche hybride et sémantique d'Azure AI Search et des évaluateurs de pertinence et de cohérence. Il aborde aussi les agents, les agents autonomes, Azure AI Foundry et la gouvernance, qui décident de la survie d'un projet IA en entreprise.

Pourquoi les applications multimodales échouent dans le monde réel

Sur scène, le présentateur envoie une requête texte, une image nette ou une entrée vocale, et le modèle renvoie un graphique parfait ou un résumé de contrat précis. En entreprise, les démos fonctionnent avec des entrées idéales, alors que le travail quotidien produit des entrées médiocres.

Les RH fournissent des cartes d'identité floues. Les achats importent des PDF dont la qualité rappelle un fax recopié cinq fois. Quelqu'un en finance photographie une facture avec un téléphone à l'écran fêlé. Les modèles multimodaux traitent texte, images, voix et vidéo, mais ils ont besoin de données bien indexées et d'une récupération efficace. Sans cela, on leur demande d'improviser sur des déchets, et aucune puissance de calcul ne corrige le principe « garbage in, garbage out ».

Le multimodal ne s'effondre donc pas parce que l'IA manque d'intelligence. Il s'effondre parce que les données ne sont ni préparées, ni indexées, ni surveillées.

RAG : ancrer les réponses avec Azure AI Search

La génération augmentée par récupération (RAG) part d'un constat simple : le modèle ne connaît pas votre métier. Vous le connectez donc à une source de connaissances. Il en récupère un fragment et construit sa réponse autour.

Si la correspondance est précise, la réponse est solide. Si elle est bâclée, le modèle improvise avec aplomb. C'est ainsi qu'un chatbot annonce une nouvelle politique de remise pour le T3 qui n'existe pas. Il n'a pas pris conscience de quoi que ce soit : il a simplement extrait les mauvaises données.

Recherche hybride et reclassement sémantique

Une seule méthode de récupération ne suffit pas. Pour des résultats cohérents, il faut :

• une recherche hybride qui combine mots-clés et vecteurs ;
• un reclasseur sémantique intégré à Azure AI Search.

Le système équilibre ainsi les correspondances littérales et le sens, puis réorganise les résultats pour placer le contexte pertinent en tête. Dans une configuration multimodale, le modèle peut alors exploiter des scans de travers et des images floues au lieu d'inventer une politique de conformité.

Azure AI Studio et Azure AI Foundry reposent tous deux sur ce modèle et couvrent plusieurs modalités : langage, vision, parole et recherche vidéo. Le RAG reste toutefois aussi bon que les données qu'on lui fournit.

Évaluer en continu : ancrage, pertinence et cohérence

Beaucoup d'entreprises attendent des résultats parfaits dès le premier jour mais ne prévoient aucun budget pour les boucles d'évaluation. Sans vérification de l'ancrage, de la pertinence et de la cohérence, la dérive n'apparaît que lorsque les utilisateurs en font les frais. La réponse semble correcte, mais personne ne l'a comparée à la source de référence.

On ne déploierait jamais une nouvelle base de données sans supervision. Pourtant, des dirigeants lancent l'IA multimodale en production comme une boîte magique.

Deux trajectoires avec la même pile Azure

Carvana montre qu'une autre voie existe. L'entreprise a rendu son IA en libre-service réellement utile en ajustant la recherche, en ancrant correctement ses agents et en investissant dans l'observabilité. Un bot gadget est devenu un outil de confiance pour les clients.

À l'inverse, certaines entreprises ont posé un chatbot générique sur leur page de support, sans ancrage ni évaluation. Résultat : des réclamations de garantie confondues avec des prospects, une file d'attente saturée et une crédibilité en lambeaux.

Les évaluateurs intégrés d'Azure AI Foundry ne sont pas facultatifs. C'est la méthode documentée pour mesurer l'ancrage, la pertinence, la cohérence et la fidélité à la source.

Agents, copilotes et agents autonomes : où se situe le risque ?

Un agent coordonne modèles, données, déclencheurs et actions, un peu comme un agent de circulation pour vos flux de travail automatisés. Parfois tout s'écoule sans heurt, parfois non.

Copilote ou agent

Un copilote est un compagnon de saisie : vous demandez, il répond, vous gardez le contrôle. Un agent prend des décisions sans vous attendre et suit des instructions vagues à la lettre, même quand le résultat n'a aucun sens. Une « fiche de poste » du type « optimiser les processus, fournir des idées, aider les gens » revient à lui dire de faire n'importe quoi. Il peut alors dupliquer des enregistrements, tourner en boucle ou inventer des problèmes à résoudre.

Un agent mal encadré peut aussi noyer un système de tickets sous de fausses alertes sur des pannes d'imprimantes qui fonctionnent très bien. Strictement cadré, il ne crée des tickets que pour de vrais problèmes et fait gagner des heures.

Le piège de l'autonomie

Les copilotes sont réactifs, les agents autonomes sont proactifs : ils surveillent la santé des services, traitent des signaux de sécurité ou lancent des flux sans attendre de requête. La promesse d'efficacité est réelle, mais ces agents n'attendent aucune autorisation, et leurs erreurs se propagent immédiatement.

Dans Copilot Studio, les agents autonomes sont actuellement en préversion. Cela ne veut pas dire défectueux, mais cela impose de tester. Microsoft indique elle-même qu'il faut des garde-fous, une gouvernance du cycle de vie et le système de contrôle de Copilot avant tout déploiement à grande échelle.

Prenons un agent de support autonome chargé de répondre aux anomalies de connexion. Si des données parasites arrivent en production, il peut réinitialiser massivement des centaines de comptes sur la base de faux positifs et paralyser les opérations de fin de mois. Ce mode de défaillance est celui que l'on choisit en ignorant le cadrage.

Trois impératifs précèdent toute automatisation sophistiquée :

1. Périmètre des identités et des accès : des droits minimaux, jamais un rôle d'administrateur global.
2. Journalisation et retour en arrière : chaque action laisse une trace auditable, et chaque action sérieuse dispose d'un chemin de retour.
3. Filtres de contenu et de comportement : Azure AI Content Safety et la configuration des connaissances empêchent le bot de sortir du script.

La dimension éthique pèse tout autant. Un agent RH qui signale des employés comme « à risque » ou un agent financier qui bloque des paiements fournisseurs classés à tort comme frauduleux provoquent des échecs à impact humain, avec des conséquences juridiques et de conformité. Les biais des données d'entraînement ou de récupération ne disparaissent pas parce que l'on est en préversion. Il faut donc de l'observabilité et une supervision humaine : le pilote automatique d'un avion reste utile, mais il garde une commande manuelle.

Azure AI Foundry : une usine, pas un magasin Ikea

Azure AI Foundry est la plateforme de Microsoft pour tout ce qui touche à l'IA. Elle propose notamment :

• un catalogue de modèles (Microsoft, OpenAI, Meta, Mistral et d'autres) ;
• des options de personnalisation : RAG, réglage fin et distillation ;
• un service d'agent pour l'orchestration ;
• des outils comme Prompt flow pour l'évaluation et le débogage ;
• des fonctions de sécurité : contrôles d'accès, filtres de sécurité et tableaux de bord.

Côté outils, Copilot Studio est l'espace low-code où l'on conçoit le comportement des agents : flux, prompts, déclencheurs d'événements. L'agent service d'Azure AI Foundry est l'infrastructure d'entreprise qui les déploie en production, avec surveillance, journaux et métriques.

Le problème vient de la manière dont trop d'équipes abordent Foundry : elles piochent quelques modèles, ajoutent des connecteurs et assemblent le tout sans mode d'emploi. Elles obtiennent un jouet de démonstration qui s'effondre au premier PDF complexe.

Ce que cela suppose concrètement

• définir des limites d'identité pour que seules les bonnes personnes accèdent au bon modèle ;
• intégrer des filtres de sécurité de contenu dans chaque pipeline ;
• utiliser l'observabilité pour distinguer une réponse étayée d'une invention ;
• choisir le modèle adapté à la tâche plutôt que le plus gros.

Un copilote connecté à SharePoint a ainsi exposé par erreur des données RH restreintes à 20 stagiaires : un désastre de conformité évitable avec des règles d'accès intégrées. Dans un autre cas, un modèle qui étiquetait des photos de produits impressionnait en laboratoire avec des clichés de studio nets. En production, face à des photos floues prises au téléphone, il a étiqueté des poussettes comme des chaises de bureau et transformé des codes-barres en numéros de série fictifs.

Facturation à la consommation

La tarification est basée sur la consommation et liée aux services utilisés. Chaque connecteur, chaque appel de récupération et chaque compteur de messages est facturé, avec son propre modèle. Sans estimation préalable avec le calculateur Azure ni suivi de l'usage, la facture réserve des surprises.

IA responsable : des configurations, pas un slogan

Sur le terrain, l'IA responsable ressemble plus à de la maintenance serveur qu'à de l'innovation : politiques d'accès solides, filtres qui bloquent réellement les requêtes malveillantes, journaux assez détaillés pour satisfaire un régulateur. Il faut aussi isoler les copilotes RH des données financières, définir des règles de portée pour que les bots d'équipe n'accèdent pas aux sites SharePoint sensibles et étiqueter les journaux pour prouver comment une réponse a été formée.

Le scénario catastrophe est simple : un bot branché sur le répertoire RH sans délimitation de locataire publie les grilles de salaire en réponse à une question sur les avantages sociaux. Une fuite de données sensibles tue l'adoption plus sûrement qu'une mauvaise interface.

Azure AI Content Safety filtre les requêtes et réponses violentes, obscènes ou offensantes, mais c'est le strict minimum. Foundry et Copilot Studio ajoutent des pipelines d'évaluation : vérification de fiabilité, score de pertinence, transparence et explicabilité. Vous pouvez ajuster les seuils, filtrer entrées et sorties et obliger les bots à justifier leurs réponses.

Microsoft investit massivement dans la sécurité, mais personne chez elle ne configure vos règles d'accès. Sécuriser les identités, isoler les données, appliquer le chiffrement et configurer les politiques reste votre responsabilité.

La gouvernance du cycle de vie

La méthode recommandée tient en cinq verbes : tester, approuver, publier, auditer, itérer. Les équipes qui déploient une fois puis abandonnent finissent par déraper, car les modèles évoluent, les prompts changent et les résultats s'égarent. La gouvernance n'est pas de la bureaucratie : elle empêche un bot interne d'inventer des politiques dans Teams pendant que tout le monde dort. Être responsable ne ralentit pas, cela évite que la vitesse ne vous porte préjudice.

Erreurs fréquentes et pièges à éviter

• Croire que la plateforme est plug and play : Foundry et Copilot Studio ne sont pas le problème, c'est cette croyance qui l'est.
• Se contenter d'une seule méthode de récupération au lieu de la recherche hybride avec reclassement sémantique.
• Déployer un prototype sans plan d'évaluation : sans évaluateurs de fiabilité, de fluidité, de pertinence et de cohérence, on déploie à l'aveugle.
• Donner aux agents des missions vagues et des droits trop larges.
• Ignorer la télémétrie, et ne voir la dérive qu'une fois les utilisateurs mécontents.
• Négliger la gestion des identités et la sécurité du contenu, qui font partie de la base et ne s'ajoutent pas après coup.
• Ne pas estimer les coûts ni surveiller la consommation.
• Choisir le plus gros modèle par principe plutôt que le modèle adapté à la tâche.

Les points essentiels à retenir

• Ancrez votre RAG avec Azure AI Search : recherche hybride (mots-clés et vecteurs) plus reclassement sémantique.
• Prévoyez dès le départ des boucles d'évaluation sur l'ancrage, la pertinence, la cohérence et la fidélité à la source.
• Testez vos agents avec trois questions : réduisent-ils le travail humain, mesurez-vous les bons indicateurs, une télémétrie détecte-t-elle les dérives ?
• Donnez aux agents des droits minimaux, journalisez chaque action et prévoyez un retour en arrière.
• Traitez les agents autonomes de Copilot Studio, en préversion, avec prudence : tests, flux d'approbation, audit et supervision humaine.
• Activez l'observabilité d'Azure AI Foundry dès le premier jour et intégrez les filtres de sécurité à chaque pipeline.
• Estimez les coûts avec le calculateur Azure et surveillez la consommation.
• Appliquez le cycle tester, approuver, publier, auditer, itérer.

Conclusion

Les hallucinations ne sont pas une fatalité : elles apparaissent quand les données sont mal préparées, mal indexées et mal surveillées, et quand les agents agissent sans cadre. Les outils existent, de la recherche hybride d'Azure AI Search aux évaluateurs d'Azure AI Foundry. Seule la gouvernance transforme un prototype séduisant en système de production fiable. Le principe se résume ainsi : gouvernance d'abord, expérimentation ensuite, production en dernier.