Agentic RAG erklärt: KI mit eigenen Daten.
Was Agentic RAG von einer einfachen Dokumentensuche mit KI unterscheidet, wo es im Mittelstand hilft und worauf Sie bei Kosten, Datenschutz und Betrieb achten sollten.
30 Minuten, online, kostenlos und unverbindlich.
Agentic RAG ist eine Weiterentwicklung von Retrieval Augmented Generation (RAG). Statt einmal zu suchen und sofort zu antworten, plant ein KI-Agent die Recherche: Er zerlegt die Frage in Teilfragen, wählt passende Datenquellen und Werkzeuge, sucht in mehreren Durchläufen, prüft seine Zwischenergebnisse und antwortet erst dann, mit Angabe der verwendeten Quellen aus Ihren eigenen Unternehmensdaten.
Wenn die KI selbst recherchiert
Viele Unternehmen haben inzwischen erste Erfahrungen mit KI-Assistenten gemacht. Schnell kommt dann die Frage: Kann die KI nicht auch mit unseren eigenen Daten arbeiten? Mit alten Angeboten, Handbüchern, Verträgen und internen Richtlinien?
Die Antwort heißt meist RAG. Und seit einiger Zeit fällt immer öfter ein zweiter Begriff: Agentic RAG. In diesem Deep Dive erklären wir, was dahintersteckt, wo der Unterschied zum klassischen Ansatz liegt und wann sich der zusätzliche Aufwand lohnt.
Was ist RAG?
RAG (Retrieval Augmented Generation) verbindet ein Sprachmodell mit einer Suche in Ihren eigenen Dokumenten. Bevor die KI antwortet, holt das System passende Textstellen aus Ihrem Bestand und gibt sie dem Modell als Grundlage mit. Das Modell formuliert die Antwort dann auf Basis dieser Fundstellen, nicht nur aus seinem allgemeinen Trainingswissen.
Der Vorteil liegt auf der Hand. Ein allgemeines Sprachmodell kennt Ihre Produkte, Preise und Abläufe nicht. Es müsste raten. Mit RAG bekommt es den passenden Ausschnitt aus Ihrem Wissen vorgelegt und kann sich darauf stützen. Gut gebaut, nennt das System auch die Quelle, etwa das Dokument und die Seite, aus der eine Aussage stammt.
Wichtig für das Verständnis: Bei RAG wird das Modell nicht neu trainiert. Ihre Daten bleiben in einem eigenen Suchindex und werden nur bei Bedarf abgefragt. Ändert sich ein Dokument, wird der Index aktualisiert. Ein neues Training ist dafür nicht nötig.
Wie das in einem konkreten Fall aussehen kann, zeigen wir im Beispielszenario Maschinenbau: Dort macht eine lokal betriebene RAG-Architektur alte Angebote und Pläne für die Ingenieure durchsuchbar, mit Zitierpflicht für jede Aussage.
Wo stößt klassisches RAG an Grenzen?
Klassisches RAG stößt an Grenzen, sobald eine Frage mehr verlangt als eine einzige Suche. Der Ablauf ist fest verdrahtet: Frage rein, eine Suche, ein Durchlauf, Antwort raus. Für einfache Nachschlagefragen reicht das. Für viele echte Fragen aus dem Arbeitsalltag nicht.
- Eine Suche: Das System sucht genau einmal mit der Frage, wie sie gestellt wurde. Ist die Frage unscharf formuliert oder verwendet sie andere Begriffe als die Dokumente, findet die Suche die falschen Stellen.
- Ein Durchlauf: Fragen, die mehrere Schritte brauchen, scheitern. Ein Beispiel: „Welche Anlagen haben wir mit Steuerung X gebaut, und welche Probleme gab es danach im Service?“ Dafür muss man erst Projekte finden und dann gezielt in Serviceberichten nachsehen.
- Keine Rückfrage: Fehlt eine wichtige Angabe, etwa der Kunde, das Baujahr oder der Standort, fragt klassisches RAG nicht nach. Es antwortet mit dem, was es zufällig gefunden hat.
- Keine Prüfung: Das System kontrolliert nicht, ob die gefundenen Textstellen die Frage überhaupt beantworten. Passen sie nicht, formuliert das Modell trotzdem eine Antwort, die überzeugend klingt.
Was macht RAG „agentisch“?
RAG wird agentisch, wenn ein KI-Agent den Suchablauf selbst steuert, statt einem festen Schema zu folgen. Der Agent ist ein Sprachmodell, das in einer Schleife arbeitet: Es plant, handelt, schaut sich das Ergebnis an und entscheidet über den nächsten Schritt. Typisch sind sechs Fähigkeiten.
- Planung: Der Agent überlegt zuerst, welche Informationen er für eine gute Antwort braucht und in welcher Reihenfolge.
- Teilfragen: Komplexe Fragen zerlegt er in einfache Teilfragen, die sich jeweils gezielt beantworten lassen.
- Werkzeugwahl: Er entscheidet, wo er sucht. Im Dokumentenarchiv, im Ticketsystem, in einer Datenbank mit Artikelstammdaten oder in einem Vertragsordner. Jede Quelle ist für ihn ein Werkzeug.
- Mehrere Suchdurchläufe: Findet er beim ersten Versuch nichts Brauchbares, formuliert er die Suche um, nutzt Synonyme oder sucht in einer anderen Quelle weiter.
- Selbstprüfung: Bevor er antwortet, prüft er, ob die Fundstellen die Frage tatsächlich abdecken und ob sie sich widersprechen. Fehlt etwas, sucht er weiter oder stellt eine Rückfrage.
- Quellenangabe: Die Antwort verweist auf die verwendeten Dokumente, damit ein Mensch jede Aussage nachprüfen kann.
Anders gesagt: Klassisches RAG ist ein Suchschlitz mit Textgenerator. Agentic RAG verhält sich eher wie ein gründlicher Sachbearbeiter, der erst recherchiert, dann gegenliest und erst danach eine Antwort abgibt. Die Entscheidung über das Ergebnis bleibt dabei bei Ihren Leuten.
So recherchiert ein Agent.
Ablauf in vier Schritten: Eine Frage kommt herein, auch eine mehrstufige. Der Agent plant die Recherche, zerlegt sie in Teilfragen und wählt die Quelle. Er sucht und prüft die Fundstellen, und wenn sie nicht passen, sucht er neu. Am Ende steht eine Antwort mit Quelle. Die Entscheidung über das Ergebnis bleibt bei Ihren Leuten.
Die Frage
Auch eine mehrstufige Frage aus dem Arbeitsalltag.
Planen und zerlegen
Der Agent bildet Teilfragen und wählt die Quelle.
Suchen und prüfen
Passt eine Fundstelle nicht, sucht er neu.
Antwort mit Quelle
Ihre Leute entscheiden über das Ergebnis.
Agentic RAG vs. klassisches RAG
- Eine Suche mit der Originalfrage
- Ein Durchlauf von der Frage zur Antwort
- Meist eine Datenquelle, zum Beispiel ein Dokumentenindex
- Keine Rückfrage bei unklarer oder unvollständiger Frage
- Keine Prüfung, ob die Fundstellen zur Frage passen
- Schnell und günstig im Betrieb, gut für einfache Nachschlagefragen
- Plant die Recherche und zerlegt die Frage in Teilfragen
- Mehrere Suchdurchläufe, bei Bedarf mit neuer Formulierung
- Wählt zwischen mehreren Quellen und Werkzeugen
- Stellt Rückfragen, wenn wichtige Angaben fehlen
- Prüft Zwischenergebnisse und nennt die Quellen
- Langsamer und teurer pro Anfrage, stark bei mehrstufigen Fragen
Wann lohnt sich Agentic RAG gegenüber klassischem RAG?
Agentic RAG lohnt sich, wenn die Fragen mehrstufig sind, mehrere Quellen betreffen oder eine falsche Antwort teuer wäre. Für ein internes FAQ mit klaren Fragen und gepflegten Antworten reicht klassisches RAG oft aus. Es ist schneller und günstiger.
Unsere Empfehlung ist deshalb pragmatisch: Starten Sie mit dem einfachsten Ablauf, der Ihre Fragen zuverlässig beantwortet. Agentische Schritte kommen dort dazu, wo der feste Ablauf nachweislich scheitert. Viele Systeme in der Praxis sind Mischformen: einfache Fragen laufen direkt durch, schwierige Fragen übernimmt der Agent.
Typische Einsatzfälle im Mittelstand
Typische Einsatzfälle sind Aufgaben, bei denen Fachkräfte heute viel Zeit mit Suchen, Vergleichen und Zusammentragen verbringen. Vier Beispiele, die uns in Gesprächen mit mittelständischen Unternehmen immer wieder begegnen:
Angebote aus Altangeboten
Ein neues Angebot ähnelt oft früheren Projekten. Der Agent sucht vergleichbare Altangebote, gleicht technische Anforderungen ab, zieht passende Positionen und Textbausteine heran und erstellt einen Entwurf mit Verweisen auf die Quellen. Der Vertrieb oder die Technik prüft, korrigiert und gibt frei. Ein ausführliches Beispielszenario dazu finden Sie in unserem Artikel zum Maschinenbau.
Service und Wartung
Im Service liegen die Antworten verteilt: in Handbüchern, Wartungsprotokollen, Schaltplänen und alten Tickets. Ein Agent kann zu einer Fehlerbeschreibung erst die Maschine identifizieren, dann im passenden Handbuch suchen und zusätzlich frühere Fälle mit ähnlichem Fehlerbild heranziehen. Wie so ein Service Co-Pilot aufgebaut sein kann, beschreiben wir im zugehörigen Use Case.
Interne Richtlinien
Reisekosten, Urlaubsregeln, Qualitätsvorgaben, Arbeitsanweisungen: Mitarbeitende fragen oft dasselbe, und die Antwort steht verstreut in mehreren Dokumenten mit unterschiedlichem Stand. Agentic RAG kann prüfen, welche Fassung gilt, Widersprüche erkennen und bei Unklarheit auf die zuständige Stelle verweisen, statt eine Regel zu erfinden.
Vertragsprüfung als Vorbereitung
Bei Verträgen hilft der Agent bei der Vorarbeit: Er sucht Klauseln zu Haftung, Laufzeit oder Kündigung, vergleicht sie mit Ihren Standardverträgen und markiert Abweichungen mit Fundstelle. Das ersetzt keine juristische Prüfung. Es verkürzt aber die Zeit, bis eine Fachperson weiß, wo sie genau hinsehen muss.
Die Einsatzfälle beschreiben typische Konstellationen, keine benannten Kunden. Wie viel Zeit sich jeweils sparen lässt, hängt stark von Datenlage und Prozess ab und sollte im Pilot gemessen werden.
Wir schauen im kostenlosen Erstgespräch gemeinsam darauf, was davon für Sie zählt.
Welche Risiken und Grenzen hat Agentic RAG?
Agentic RAG hat vier wesentliche Grenzen: höhere Kosten und Wartezeiten, verbleibende Halluzinationen, Fragen der Rechte und Zugriffe sowie die Nachvollziehbarkeit. Wer diese Punkte früh einplant, vermeidet die meisten Enttäuschungen.
- Kosten und Latenz: Jeder Planungsschritt, jede Suche und jede Prüfung bedeutet zusätzliche Modellaufrufe. Eine Antwort dauert dadurch länger und kostet mehr Rechenleistung als bei klassischem RAG. Begrenzen Sie deshalb die Zahl der Schritte pro Anfrage.
- Halluzinationen: Quellenbindung und Selbstprüfung senken das Risiko erfundener Aussagen deutlich, schließen es aber nicht aus. Ein Modell kann eine Fundstelle falsch zusammenfassen oder zwei Quellen falsch verknüpfen. Darum gehören Quellenangaben und eine menschliche Freigabe zu jedem kritischen Ergebnis.
- Rechte und Zugriffe: Ein Agent, der selbst entscheidet, wo er sucht, darf nur dort suchen, wo der fragende Mensch auch lesen darf. Sonst gelangen etwa Gehaltsdaten oder vertrauliche Verträge in Antworten an Personen ohne Berechtigung.
- Nachvollziehbarkeit: Wenn ein Agent mehrere Schritte selbst wählt, muss später erkennbar sein, warum er zu einem Ergebnis kam. Ohne Protokoll ist eine falsche Antwort kaum zu erklären und der Fehler kaum zu beheben.
Hinzu kommt eine Grenze, die oft unterschätzt wird: Die Qualität der Antworten hängt an der Qualität der Daten. Veraltete, doppelte oder widersprüchliche Dokumente machen auch den besten Agenten unsicher. Datenaufbereitung ist in solchen Projekten meist der größere Teil der Arbeit.
Wie ist eine Agentic-RAG-Architektur aufgebaut?
Eine Agentic-RAG-Architektur besteht im Kern aus sechs Bausteinen, von den Datenquellen bis zur Protokollierung. Die Begriffe helfen Ihnen, Angebote und Gespräche mit Dienstleistern besser einzuordnen.
- Datenquellen: Fileserver, Dokumentenmanagement, ERP, Ticketsystem, E-Mail-Archive. Am Anfang steht die Entscheidung, welche Quellen überhaupt angebunden werden und welche nicht.
- Aufbereitung und Chunking: Dokumente werden gelesen, bereinigt und in sinnvolle Abschnitte zerlegt, sogenannte Chunks. Zu jedem Abschnitt werden Metadaten gespeichert, etwa Dokumentart, Datum, Gültigkeit und Berechtigungen.
- Vektor- und Stichwortsuche (Hybrid Search): Die Vektorsuche findet Inhalte nach Bedeutung, auch wenn andere Worte verwendet werden. Die Stichwortsuche findet exakte Begriffe wie Artikelnummern oder Fehlercodes. Die Kombination beider Verfahren heißt Hybrid Search.
- Re-Ranking: Ein zusätzliches Modell bewertet die gefundenen Treffer noch einmal und sortiert sie nach Relevanz für die konkrete Frage. So landen die wirklich passenden Stellen oben.
- Agent-Schleife: Das Sprachmodell plant, ruft Suchwerkzeuge auf, bewertet Ergebnisse und entscheidet über weitere Schritte. Eine feste Obergrenze für die Zahl der Schritte hält Kosten und Wartezeit im Rahmen.
- Protokollierung: Jede Teilfrage, jede Suche, jede gefundene Quelle und die finale Antwort werden protokolliert. Das ist die Grundlage für Fehleranalyse, Qualitätsmessung und Nachvollziehbarkeit.
Wie gelingen Datenschutz und Betrieb?
Datenschutz und Betrieb gelingen, wenn drei Punkte von Anfang an feststehen: wo das System läuft, wie Berechtigungen übernommen werden und wer die Ergebnisse freigibt.
- On-Premise oder EU-Cloud: Für sensible Daten wie Konstruktionsunterlagen, Personal- oder Mandantendaten kann das gesamte System auf eigener Hardware im Haus laufen. Für weniger kritische Anwendungen kommt ein Betrieb in einem Rechenzentrum in der EU in Frage. Die Entscheidung treffen wir gemeinsam mit Ihnen je Anwendungsfall.
- Berechtigungen bleiben erhalten: Das System übernimmt die bestehenden Zugriffsrechte aus Ihren Quellsystemen. Wer ein Dokument heute nicht öffnen darf, bekommt es auch über die KI nicht zu sehen. Das wird bei jeder Suche geprüft, nicht nur einmal beim Einlesen.
- Der Mensch gibt frei: Die KI bereitet vor, der Mensch entscheidet. Angebote, Vertragsbewertungen oder Antworten an Kunden gehen erst nach Prüfung durch eine zuständige Person hinaus.
Zum Betrieb gehört außerdem, dass jemand die Datenbasis pflegt und die Protokolle regelmäßig auswertet. Wo Mitarbeitende betroffen sind, beziehen Sie Datenschutz und gegebenenfalls den Betriebsrat früh ein.
Wie starten Sie mit Agentic RAG?
Sie starten am besten mit einem kleinen Pilot auf einem klar abgegrenzten Dokumentenbestand und mit vorher festgelegten Erfolgskriterien. Ein großes Wissensprojekt über alle Abteilungen hinweg ist als Einstieg meist zu viel.
- Anwendungsfall wählen: eine Aufgabe, die häufig vorkommt, viel Suchzeit kostet und deren Ergebnis eine Fachperson gut beurteilen kann.
- Dokumentenbestand festlegen: zum Beispiel die Angebote der letzten Jahre oder die Handbücher einer Produktlinie. Vorher sichten, was aktuell und brauchbar ist.
- Erfolgskriterien vorher festlegen: etwa wie viele Testfragen richtig und mit korrekter Quelle beantwortet werden sollen, welche Wartezeit akzeptabel ist und wie die Fachabteilung die Entwürfe bewertet.
- Testfragen sammeln: echte Fragen aus dem Alltag, inklusive schwieriger Fälle, mit den Antworten, die eine Fachperson geben würde.
- Erst einfach, dann agentisch: zuerst prüfen, wie weit klassisches RAG kommt. Agentische Schritte gezielt dort ergänzen, wo es nicht reicht.
- Auswerten und entscheiden: nach dem Pilot anhand der festgelegten Kriterien entscheiden, ob, wie und wo das System ausgerollt wird.
Wir von ProzessX begleiten solche Piloten von der Auswahl des Anwendungsfalls bis zur Entscheidung über den Ausbau. Wenn Sie prüfen möchten, ob Agentic RAG zu Ihren Daten und Abläufen passt, finden Sie auf unserer Seite zur KI-Beratung, wie wir vorgehen. Oder Sie sprechen direkt mit uns.
Häufig gestellte Fragen
Was ist der Unterschied zwischen RAG und Agentic RAG?
Klassisches RAG sucht einmal in Ihren Dokumenten und antwortet direkt auf Basis der Fundstellen. Agentic RAG lässt einen KI-Agenten die Recherche steuern: Er zerlegt die Frage, sucht in mehreren Durchläufen und Quellen, prüft die Ergebnisse und nennt die Quellen.
Muss ich für Agentic RAG ein eigenes KI-Modell trainieren?
Nein. RAG und Agentic RAG arbeiten mit bestehenden Sprachmodellen. Ihre Daten liegen in einem eigenen Suchindex und werden bei jeder Frage abgefragt. Ändern sich Dokumente, wird der Index aktualisiert, nicht das Modell.
Kann Agentic RAG auf eigenen Servern laufen?
Ja. Sprachmodell, Suchindex und Agent können vollständig auf Hardware im eigenen Haus betrieben werden. Alternativ ist ein Betrieb in einem Rechenzentrum in der EU möglich. Welche Variante passt, hängt von der Sensibilität der Daten ab.
Verhindert Agentic RAG Halluzinationen vollständig?
Nein. Quellenbindung und Selbstprüfung senken das Risiko deutlich, schließen es aber nicht aus. Deshalb nennt das System seine Quellen, und bei wichtigen Ergebnissen gibt immer ein Mensch frei.
Wie fange ich mit Agentic RAG an?
Mit einem kleinen Pilot: ein Anwendungsfall, ein abgegrenzter Dokumentenbestand, echte Testfragen und vorher festgelegte Erfolgskriterien. Danach entscheiden Sie anhand der Ergebnisse, ob und wie Sie ausbauen.
Passt Agentic RAG zu Ihren Daten?
Lassen Sie uns gemeinsam prüfen, welcher Anwendungsfall sich für einen Pilot eignet und wie Ihr Dokumentenbestand dafür aufbereitet sein muss. Wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für das Erstgespräch.
