KI-Halluzinationen stoppen: RAG mit Azure AI Search richtig fundieren

Auf der Bühne wirken KI-Demos makellos. Im Unternehmensalltag zeigt sich dann, dass Copilots und Agenten ohne Grounding, Bewertung und Governance Antworten erfinden, die überzeugend klingen und trotzdem falsch sind. Dieser Artikel zeigt, wie du Halluzinationen mit Retrieval Augmented Generation (RAG) und Azure AI Search in den Griff bekommst. Er erklärt auch, warum Agenten klare Grenzen brauchen und weshalb Azure AI Foundry eine Fabrik mit Regeln ist und keine Spielzeugkiste.

Die Kernaussage vorab: Die Technik ist selten das Problem. Es fehlen meist aufbereitete Daten, Evaluierung und Kontrolle.

Warum multimodale Apps in der Praxis scheitern

Multimodale Modelle verarbeiten Text, Bilder, Sprache und Video. In der Demo bekommen sie saubere Prompts und perfekte Bilder. Im echten Betrieb sieht die Eingabe anders aus: verpixelte Ausweiskopien aus der Personalabteilung, PDFs, die schon mehrere Fax-Generationen hinter sich haben, oder Rechnungen, die mit einer schlechten Handykamera fotografiert wurden.

Hier gilt weiterhin „Garbage in, Garbage out“, egal wie viel GPU-Leistung dahintersteht. Ohne gut indizierte Daten und ein sauberes Retrieval muss das Modell mit Datenmüll improvisieren. Das Ergebnis ist ein Chatbot, der selbstbewusst eine neue Q3-Rabattrichtlinie behauptet, die es nie gab. Er ist dabei nicht „eigenwillig“ geworden, er hat schlicht die falschen Daten abgerufen.

RAG: das Modell mit der eigenen Wissensquelle verbinden

Ein Sprachmodell kennt dein Unternehmen nicht. Bei Retrieval Augmented Generation verbindest du es deshalb mit deiner Wissensquelle: Das System ruft einen passenden Datenausschnitt ab, und das Modell formuliert die Antwort auf dieser Grundlage. Ist der Abgleich präzise, werden die Antworten nützlich. Ist er schlampig, beginnt das Modell zu improvisieren. Azure AI Studio und Azure AI Foundry setzen beide auf dieses Muster und unterstützen verschiedene Modalitäten wie Sprache, Vision, Audio und Video-Retrieval.

Hybridsuche und semantisches Reranking in Azure AI Search

Ein einzelnes angeschlossenes Retrieval reicht nicht. Für stimmige Ergebnisse braucht es eine hybride Suche aus Keyword- und Vektorsuche. Ein semantischer Reranker, der in Azure AI Search integriert ist, ergänzt sie. Das System gleicht wörtliche Treffer mit der semantischen Bedeutung ab und ordnet die Ergebnisse so, dass der passende Kontext oben steht. In einer multimodalen Umgebung kann das Modell so auch mit schiefen Scans und unscharfen Bildern umgehen, statt Compliance-Richtlinien frei zu erfinden.

Evaluatoren: Groundedness, Relevanz und Kohärenz messen

Viele Einführungen scheitern, weil Unternehmen vom ersten Tag an perfekte Ergebnisse erwarten, aber kein Budget für Bewertungsschleifen einplanen. Ohne Prüfungen auf Fundierung, Relevanz und Kohärenz fallen Abweichungen erst auf, wenn die Nutzer bereits frustriert sind. Der Output klingt korrekt, wurde aber nie mit der Quellenwahrheit abgeglichen. Niemand würde eine neue Datenbank ohne Überwachung betreiben. Bei KI wird genau das aber oft wie eine Plug-and-Play-Box behandelt.

Die Observability-Funktionen und integrierten Evaluatoren von Azure AI Foundry sind dafür vorgesehen. Sie messen Fundiertheit, Relevanz, Kohärenz und Quellentreue. Ohne sie rätst du nur, ob dein Agent klug ist oder sich in höflichem Ton Dinge ausdenkt. Mit ihnen kannst du eingreifen und nachjustieren, sobald die Ausgabe abweicht.

Wie viel Unterschied das macht, zeigt Carvana als Kundenbeispiel aus dem Foundry-Umfeld. Dort wurde Self-Service-KI nützlich, weil die Suche optimiert, die Agenten fundiert und die Beobachtbarkeit ausgebaut wurden. Andere haben einen generischen Chatbot ohne Fundierung und Bewertung auf die Supportseite gesetzt. Garantiefälle landeten dann als Sales-Leads, Support-Warteschlangen liefen über, und die Glaubwürdigkeit litt. Der Azure Stack war derselbe, das Ergebnis das Gegenteil.

Agenten: hilfreicher Mitarbeiter oder teurer Briefbeschwerer?

Ein Agent koordiniert Modelle, Daten, Trigger und Aktionen, ähnlich einem Verkehrspolizisten für automatisierte Workflows. Mal leitet er alles reibungslos, mal winkt er das Falsche durch.

Copilot und Agent sind nicht dasselbe

Ein Copilot ist im Kern ein Prompt-Assistent: Du fragst, er antwortet, und du behältst die Kontrolle. Agenten dagegen entscheiden und handeln, ohne auf dich zu warten. Sie befolgen vage Anweisungen buchstabengetreu, selbst wenn das Ergebnis keinen Sinn ergibt.

Ein Beispiel aus dem Service-Umfeld: Eng begrenzt erstellt ein Agent nur bei echten Problemen echte Tickets und spart Stunden. Ohne Grenzen kann er den Helpdesk mit Phantom-Tickets und falschen Warnmeldungen überfluten, etwa weil er ein Fehlerprotokoll falsch gelesen hat.

Viele Teams geben ihrem Agenten eine Stellenbeschreibung, die wie ein Wahlversprechen klingt: Prozesse optimieren, Erkenntnisse liefern, Menschen helfen. Agenten ohne klaren Aufgabenbereich erfinden dann Probleme, duplizieren Datensätze oder hängen in Endlosschleifen. Ohne enge Begrenzung, Validierungsschritte und Telemetrie ist der Agent ein leichtsinniger Praktikant mit Adminrechten.

Die passenden Bausteine im Microsoft Stack

• Copilot Studio: der Low-Code-Bereich, in dem du das Verhalten von Agenten über Flows, Prompts und Event-Trigger entwirfst.
• Agent-Service von AI Foundry: das Unternehmensgerüst, das Agenten mit Beobachtbarkeit, Überwachung, Protokollen und Metriken in die Produktion bringt, mit eingebauter menschlicher Aufsicht.

Drei Fragen, ob dein Agent nützlich ist

1. Reduziert er die Arbeitszeit der Mitarbeiter, oder ziehen ihn Fehlerbehebungsaufgaben in die Zeitfalle?
2. Erfasst du Metriken wie Fundiertheit, Flüssigkeit und Kohärenz, oder starrst du nur auf Marketing-Dashboards?
3. Hast du Telemetrie, die Abweichungen erkennt, bevor sich Nutzer beschweren?

Wer eine dieser Fragen nicht bejahen kann, hat laut dieser Checkliste keinen intelligenten Agenten, sondern einen teuren Bildschirmschoner.

Autonome Agenten: wenn niemand mehr zusieht

Autonome Agenten sind der Punkt, an dem der Hype gefährlich wird. Copilots sind reaktiv, Agenten proaktiv: Sie überwachen den Servicezustand, bearbeiten Sicherheitssignale oder führen Workflows automatisch aus. Das Versprechen ist real, aber sie warten nicht auf Erlaubnis. Eine Fehlentscheidung wirkt sofort und skaliert durch die gesamte Umgebung.

Wichtig ist der Kontext: Autonome Agenten in Copilot Studio befinden sich derzeit in der Vorschauphase. Das bedeutet nicht „kaputt“, aber ungeprüft in der realen Welt. Microsoft selbst verweist auf Lifecycle-Governance-Leitplanken und das Copilot-Kontrollsystem, bevor an einen breiten Rollout zu denken ist.

Ein realistisches Fehlerszenario

Ein autonomer Helpdesk-Agent darf auf Anmeldeanomalien reagieren. In der Demo mit fünf Nutzern funktioniert das einwandfrei. In der Produktion treffen unvorhergesehene Eingaben ein, und der Agent setzt aufgrund falsch positiver Ergebnisse massenhaft Konten zurück. Im ungünstigen Fall legt das den Betrieb zum Monatsabschluss lahm.

Die Überlebens-Checkliste vor jeder Automatisierung

1. Identitäts- und Zugriffsbeschränkungen: minimale Rechte statt pauschaler Adminrechte.
2. Protokollierung und Rollback: jede Aktion hinterlässt eine prüfbare Spur, und jede schwerwiegende Aktion hat einen Rückweg.
3. Inhalts- und Verhaltensfilter: Azure AI Content Safety und Wissenskonfiguration halten einen übereifrigen Bot davon ab, unangemessen zu antworten oder vom Skript abzuweichen.

Dazu kommt eine ethische Ebene. Ein HR-Agent, der Mitarbeiter automatisch als riskant markiert, oder ein Finanzagent, der Lieferantenzahlungen fälschlich als Betrug einstuft, verursacht Fehler mit menschlichen, rechtlichen und Compliance-Folgen. Verzerrungen in Trainings- oder Abrufdaten verschwinden nicht, nur weil ein System in der Vorschau läuft. Deshalb braucht es Stufentests, Genehmigungsworkflows, Audits und Dashboards, die jeden Schritt des Agenten zeigen. Der Mensch bleibt das Sicherheitsnetz, wie bei einem Autopiloten im Flugzeug, der immer mit manueller Übersteuerung ausgelegt ist.

Azure AI Foundry: Fabrik statt Spielzeugkiste

Azure AI Foundry ist Microsofts Plattform für alles rund um KI-Entwicklung. Viele Teams behandeln sie wie einen Ikea-Besuch: ein paar glänzende Modelle einpacken, Konnektoren dazu und ohne Anleitung zusammenschrauben. Heraus kommt ein Demo-Spielzeug, das beim ersten unordentlichen PDF eines echten Nutzers umkippt.

Was Foundry bietet

• einen Modellkatalog mit Angeboten mehrerer Anbieter, darunter Microsoft, OpenAI und Meta
• Anpassungsoptionen wie Retrieval Augmented Generation, Feintuning und Destillation
• einen Agentendienst zur Orchestrierung
• Werkzeuge wie Promptflow für Bewertung und Debugging
• Sicherheitsfunktionen: Identitäts- und Zugriffskontrollen, Inhaltsfilter und Observability-Dashboards

Der Werkzeugkasten ist also nicht leer. Das Problem entsteht, wenn Administratoren glauben, sie müssten nur einen GPT-4-Turbo-Schalter umlegen. Sinnvoll eingesetzt bedeutet Foundry: Identitätsgrenzen setzen, Prozesse mit Sicherheitsfiltern umgeben, Observability nutzen und die Aufgabe dem passenden Modell zuordnen statt dem größten.

Zwei Praxisbeispiele

Ein Team richtete einen Foundry-Copilot für SharePoint ein und gab dabei vertrauliche Personaldaten an 20 Praktikanten weiter. Das war ein Compliance-Desaster, das integrierte Zugriffsregeln verhindert hätten.

Ein anderes Unternehmen setzte GPT-4 Turbo zur Verschlagwortung von Produktfotos ein. Im Labor mit sauberen Studiofotos lief alles perfekt. In der Produktion kamen unscharfe Handyfotos aus dem Lager, und die KI stufte Kinderwagen als Bürostühle ein und machte aus UPC-Etiketten erfundene Seriennummern.

Die Kostenfalle

Die Preisgestaltung ist nutzungsabhängig und an die jeweils genutzten Dienste gebunden. Jeder Connector, jeder Abrufaufruf und jeder Nachrichtenzähler wird dem Tenant berechnet. Verbrauchsbasierte Preise funktionieren, wenn du mit dem Azure-Preiskalkulator planst, die Nutzung verfolgst und optimierst. Sonst wartet eine Überraschungsrechnung.

Verantwortungsvolle KI: Governance als Überlebensstrategie

Verantwortungsvolle KI klingt in Keynotes nach Fairness und Transparenz. In der Praxis bedeutet sie Konfigurationen, Audits, Filter und Governance-Schritte. Sie ist der Sicherheitsgurt, nicht der Sportwagen.

Konkret gehören dazu Zugriffsrichtlinien, die unter Druck standhalten, Filter, die schädliche Prompts blockieren, und Protokolle, die detailliert genug sind, um nachzuweisen, wie eine Antwort entstanden ist. HR-Copilots werden von Finanzdaten isoliert, und Bereichsregeln sorgen dafür, dass Team-Bots nicht in SharePoint-Geheimnisse eindringen. Was passiert, wenn das fehlt, zeigt ein Bot ohne Tenant-Einschränkung am HR-Repository: Auf eine Frage zu Versicherungsleistungen veröffentlicht er Gehaltsbänder im Chat. Das ist eine Datenschutzverletzung und ein Schaden für die Akzeptanz.

Die Werkzeuge dafür

Azure AI Content Safety filtert gewalttätige, obszöne und anstößige Eingaben und Antworten, bevor sie Nutzer erreichen. Das ist die Grundhygiene. Foundry und Copilot Studio ergänzen sie um Evaluierungspipelines mit Groundedness-Checks, Relevanzbewertung, Transparenz-Dashboards und Erklärbarkeit. Schwellenwerte lassen sich anpassen, Ein- und Ausgaben filtern.

Microsoft investiert hier stark: 34.000 Vollzeit-Ingenieure für Sicherheit und 15.000 Partner mit Sicherheitsexpertise. Doch keiner von ihnen konfiguriert deinen Tenant. Identitäten sichern, Daten isolieren, Verschlüsselung anwenden und Richtlinien konfigurieren bleibt deine Aufgabe.

Governance über den gesamten Lebenszyklus

Der empfohlene Zyklus lautet: testen, freigeben, veröffentlichen, prüfen, iterieren. Wer einmal ausliefert und dann abschaltet, scheitert, denn Modelle entwickeln sich, Prompts ändern sich und Ergebnisse driften ab. Governance bremst dabei nicht das Tempo, sie verhindert, dass Tempo zum Absturz führt. Wie Leitplanken an einer Bergstraße werden sie erst dann geschätzt, wenn es steil bergab geht.

Häufige Fehler und Stolpersteine

• Plug-and-Play-Denken: Foundry oder Copilot Studio sind nicht die Falle, der Glaube an reines Plug-and-Play ist es.
• Datenmüll im Index: Ohne aufbereitete und indizierte Daten hilft auch kein starkes Modell.
• Keine Evaluierungspipelines: Prototypen aus der Sandbox gehen ohne Prüfung auf Fundiertheit, Sprachgewandtheit, Relevanz und Kohärenz live. Nutzer bemerken die Abweichung, das Vertrauen sinkt, und die Finanzierung wird gestrichen.
• Vage Agenten-Aufträge: Ohne enge Begrenzung, Validierung und Telemetrie entsteht Chaos.
• Zu weitreichende Rechte: Pauschale Adminrechte und fehlende Tenant-Abgrenzung führen zu Datenlecks.
• Fehlendes Kostenmonitoring: Nutzungsabhängige Preise ohne Planung und Nachverfolgung enden in Überraschungsrechnungen.
• Governance als Nachgedanke: Identitätsabgrenzung und Inhaltssicherheit gehören zur Grundausstattung und werden nicht nachträglich angeflanscht.

Praktische Takeaways

• Fundiere dein System mit Azure AI Search, mit hybrider Suche und semantischem Reranking, bevor du an den Livegang denkst.
• Nutze die Observability von Azure AI Foundry und Promptflow von Anfang an und lass bei jedem Test die integrierten Evaluatoren laufen.
• Miss Fundiertheit, Relevanz, Kohärenz und Quellentreue, und richte Telemetrie ein, die Abweichungen früh meldet.
• Begrenze Agenten eng, gib ihnen minimale Rechte, und sorge für Protokollierung und Rollback.
• Setze Azure AI Content Safety und Wissenskonfiguration als Filter ein.
• Behalte den Menschen als Sicherheitsnetz im Prozess, mit Stufentests und Genehmigungsworkflows.
• Schätze Kosten mit dem Azure-Preiskalkulator und verfolge die Nutzung.
• Befolge die Reihenfolge: erst Governance, dann Experimente, zuletzt Produktion.

Fazit

KI-Systeme halluzinieren vor allem dann, wenn Daten nicht aufbereitet, Antworten nicht gemessen und Agenten nicht begrenzt werden. Mit Hybridsuche und semantischem Reranking in Azure AI Search, den Evaluatoren in Azure AI Foundry und einer konsequenten Governance liefern Copilots und Agenten Antworten, die in der Realität verankert bleiben. Verantwortung bremst dabei nicht, sie macht die Lösung produktionstauglich. Tools ändern sich, aber die Taktik bleibt: Identitätsmanagement und Beobachtbarkeit zuerst, dann Prototypen, dann echte Produktion.