Mit dem KI Agent Builder maßgeschneiderte KI-Lösungen erstellen

Agent Builder öffnen und einen Workflow als visuelle Struktur planen

Im Agent Builder beginnt ein tragfähiger KI-Workflow nicht mit einem langen Prompt, sondern mit einer klaren visuellen Prozessskizze. Lege zuerst fest, welche Eingabe den Ablauf startet, welche Entscheidung danach nötig ist und welches Ergebnis am Ende vorliegen soll. So wird aus einer vagen Idee ein prüfbarer Prozess.

Ordne den Ablauf von links nach rechts oder von oben nach unten. Eine einfache Grundstruktur kann so aussehen:

• Eingabe des Nutzers oder eines Systems
• Aufbereitung und Prüfung der Anfrage
• Auswahl des passenden Verarbeitungsschritts
• Erstellung oder Anreicherung der Antwort
• Ausgabe an den Nutzer oder Übergabe an ein Zielsystem

Jeder Knoten sollte genau eine Aufgabe erfüllen. Vermeide Sammelknoten wie „Anfrage bearbeiten“, wenn darin mehrere Entscheidungen stecken. Besser sind kurze, verständliche Schritte mit eindeutigen Übergängen. Das macht den Workflow leichter lesbar und hilft später bei der Fehlersuche.

Plane außerdem sichtbare Abzweigungen ein. Was passiert bei einer unvollständigen Anfrage? Wohin führt der Ablauf, wenn keine passende Information gefunden wird? Und wann endet der Prozess ohne Antwort? Solche Wege wirken zunächst unspektakulär, verhindern aber später manche böse Überraschung.

Für komplexe Lösungen empfiehlt sich eine Trennung in drei Ebenen:

• Steuerung: Eingang, Priorität und Zuständigkeit der Anfrage
• Verarbeitung: Analyse, Auswahl und Bearbeitung der Aufgabe
• Ergebnis: Antwort, Statusmeldung oder Übergabe an ein anderes System

Benenne Knoten nach ihrer Funktion, nicht nach ihrer technischen Umsetzung. „Rechnungsdaten prüfen“ ist hilfreicher als „Node 4“. Ergänze kurze Notizen, wenn eine Entscheidung besondere Bedingungen hat. Damit bleibt die visuelle Struktur auch Wochen später verständlich.

Der erste Entwurf muss nicht vollständig sein. Zeichne zunächst den kürzesten sinnvollen Ablauf und füge danach Sonderfälle hinzu. So bleibt der Kernprozess sichtbar, ohne dass Details ihn überlagern.

Agenten, Anweisungen und Modelle passend zur Aufgabe definieren

Ein maßgeschneiderter Agent braucht eine klar begrenzte Rolle. Beschreibe zuerst, welche Aufgabe er löst, für wen er arbeitet und welches Ergebnis erwartet wird. Ein Kundendienst-Agent beantwortet zum Beispiel Produktfragen und erkennt ungelöste Fälle. Ein interner Analyse-Agent fasst dagegen Daten zusammen und markiert fehlende Angaben. Beide nutzen Sprache, benötigen aber völlig andere Leitplanken.

Formuliere die Anweisungen als konkrete Arbeitsregeln. Lege fest, welche Informationen der Agent verwenden darf, wie er Unsicherheit ausdrückt und in welchem Format er antwortet. Vermeide schwammige Vorgaben wie „Sei hilfreich“. Präziser ist: „Nenne zuerst die Lösung, erkläre danach die zwei wichtigsten Schritte und frage nur dann nach, wenn eine Pflichtangabe fehlt.“

Eine robuste Anweisung enthält meist fünf Bausteine:

• Rolle: Welche fachliche Funktion übernimmt der Agent?
• Ziel: Was soll nach jedem Durchlauf vorliegen?
• Grenzen: Welche Themen oder Aktionen sind ausgeschlossen?
• Ausgabe: Welche Struktur, Sprache und Detailtiefe wird erwartet?
• Unsicherheit: Wie reagiert der Agent auf widersprüchliche oder fehlende Daten?

Trenne feste Regeln von veränderlichen Angaben. Tonalität, Fachbegriffe und Antwortformat gehören in die dauerhafte Anweisung. Kundendaten, aktuelle Preise oder Fallnummern werden erst zur Laufzeit übergeben. Dadurch bleibt der Agent übersichtlich und lässt sich leichter für mehrere Prozesse verwenden.

Wähle das Modell nicht nach Bekanntheit, sondern nach dem erforderlichen Leistungsprofil. Für Klassifikation, Extraktion und kurze Standardantworten genügt oft ein schnelles, günstiges Modell. Anspruchsvolle Planung, mehrdeutige Fachtexte oder lange Zusammenhänge verlangen ein leistungsfähigeres Modell. Prüfe dabei vier Werte: Antwortqualität, Latenz, Kontextlänge und Kosten pro Durchlauf.

Definiere zudem ein festes Ausgabeformat. Für nachgelagerte Systeme ist strukturiertes JSON meist besser als freier Text. Benenne Felder eindeutig und lege fest, welche Werte leer bleiben dürfen. So kann ein CRM die Antwort verarbeiten, ohne erst sprachliche Sonderfälle zu erraten.

Halte die erste Version bewusst schlank. Eine kurze Rolle, wenige überprüfbare Regeln und ein klares Ergebnis liefern oft bessere Ansätze als ein überladener Anweisungstext. Feile anschließend an den Stellen, an denen echte Eingaben noch Mehrdeutigkeiten zeigen.

Bausteine und Einsatzmöglichkeiten des KI Agent Builders im Überblick

Nodes für Logik, Übergaben und mehrere Agenten einsetzen

Nodes bilden im Agent Builder die Steuerpunkte eines Workflows. Sie legen fest, wann Daten weitergereicht, ein Ergebnis geprüft oder ein anderer Agent aufgerufen wird. Der entscheidende Vorteil liegt in der klaren Trennung von Zuständigkeiten: Der Agent formuliert, der Workflow entscheidet.

Nutze Logik-Nodes für Bedingungen, Schleifen und Zusammenführungen. Eine Bedingung kann etwa anhand eines Feldes wie priority zwischen Standard- und Expressbearbeitung wählen. Bei mehreren möglichen Pfaden sollte jede Regel eindeutig sein. Überlappende Bedingungen führen sonst zu schwer nachvollziehbaren Ergebnissen.

Bei Übergaben zählt vor allem ein stabiles Datenformat. Definiere für jeden Verbindungspunkt:

• welche Eingabefelder vorhanden sein müssen
• welche Datentypen erlaubt sind
• welcher Node das Ergebnis empfängt
• was bei fehlenden oder ungültigen Werten geschieht

Eine strukturierte Übergabe verhindert, dass ein nachgelagerter Agent lange Freitexte erraten muss. Verwende zum Beispiel Felder wie auftrag, kunden_id, sprache und bearbeitungsstatus. Sensible Inhalte sollten nur an den Node gelangen, der sie wirklich benötigt. Das reduziert zugleich die unnötige Kontextgröße.

Mehrere Agenten lohnen sich, wenn die Aufgabe klar getrennte Fachrollen enthält. Ein Recherche-Agent sammelt Fakten, ein Bewertungs-Agent prüft sie und ein Formulierungs-Agent erstellt die Antwort. Jeder Agent erhält dabei nur den Ausschnitt, den er für seine Arbeit braucht.

Für die Orchestrierung eignen sich drei Muster:

• Sequenziell: Ein Agent übergibt sein Ergebnis an den nächsten.
• Parallel: Mehrere Agenten bearbeiten unabhängige Teilaufgaben gleichzeitig.
• Delegierend: Ein Steuer-Agent wählt anhand der Anfrage den passenden Spezialisten.

Parallele Pfade verkürzen oft die Laufzeit, benötigen aber eine saubere Zusammenführung. Lege deshalb fest, wie widersprüchliche Ergebnisse bewertet werden. Bei sequenziellen Abläufen ist die Kontrolle einfacher, während lange Ketten die Latenz erhöhen können.

Vermeide eine unnötige Agenten-Kaskade. Jeder zusätzliche Aufruf kann Kosten, Verzögerungen und neue Fehlerquellen erzeugen. Teile eine Aufgabe nur dann auf, wenn dadurch eine messbare Verbesserung bei Qualität, Nachvollziehbarkeit oder Wartbarkeit entsteht.

Function Calling, Websuche, Dateisuche und Retrieval integrieren

Werkzeuge machen aus einer reinen Textantwort eine nutzbare Lösung. Im Agent Builder sollte jedes Werkzeug einen klaren Zweck, ein begrenztes Eingabeschema und ein definiertes Ergebnis besitzen. Der Agent entscheidet dann, ob ein Werkzeug nötig ist; der Workflow verarbeitet anschließend dessen Rückgabe.

Function Calling eignet sich für kontrollierte Aktionen wie das Abfragen eines Auftragsstatus, das Anlegen eines Tickets oder das Berechnen eines Liefertermins. Beschreibe jede Funktion mit Pflichtfeldern, Datentypen und zulässigen Werten. Besonders wichtig: Eine Funktion sollte keine unklaren Freitextparameter akzeptieren, wenn sich die Eingabe als Datum, ID oder Auswahlwert darstellen lässt.

Bei der Websuche zählt die Aktualität der Quelle. Begrenze den Suchbereich, wenn nur bestimmte Fachseiten oder regionale Informationen relevant sind. Übergib dem Agenten außerdem Suchziel und Zeitraum. Für eine belastbare Antwort sollte er Quellen voneinander unterscheiden können: Primärquelle, Fachbeitrag und bloße Meinungsseite haben nicht dasselbe Gewicht.

Die Dateisuche eignet sich für Handbücher, Richtlinien, Verträge oder interne Wissenssammlungen. Bereite Dokumente vor dem Indexieren sauber auf. Entferne doppelte Dateien, erkenne veraltete Versionen und bewahre Titel, Datum sowie Kapitelangaben als Metadaten. Ohne diese Ordnung findet ein Agent zwar Textstellen, kann ihre Bedeutung aber nur schwer einordnen.

Retrieval sollte nicht einfach möglichst viele Treffer liefern. Entscheidend ist die Auswahl passender Textabschnitte. Nutze Filter wie Abteilung, Dokumenttyp, Sprache oder Gültigkeitsdatum. Eine kleine Zahl relevanter Treffer ist meist wertvoller als eine große Menge ähnlicher Passagen, die den Kontext verwässern.

• Function Calling: für strukturierte Aktionen und Systemabfragen
• Websuche: für aktuelle Informationen außerhalb des eigenen Datenbestands
• Dateisuche: für vorhandene Dokumente und interne Inhalte
• Retrieval: für die gezielte Auswahl relevanter Wissensbausteine

Trenne externe und interne Quellen sichtbar. Eine Antwort sollte erkennen lassen, ob sie auf einer aktuellen Webquelle, einer internen Datei oder einem Systemwert beruht. Das erhöht die Nachvollziehbarkeit und verhindert, dass eine alte Richtlinie unbemerkt mit einer neuen Information vermischt wird.

Lege für jedes Werkzeug auch einen leeren oder fehlerhaften Rückgabefall fest. Gibt es keinen Treffer, darf der Agent keine Lücke mit einer Vermutung füllen. Er sollte stattdessen den fehlenden Beleg benennen oder eine präzise Rückfrage stellen.

MCP, Connectors und externe Dienste sicher anbinden

MCP verbindet einen Agenten mit externen Diensten über eine einheitliche Schnittstelle. Dadurch lassen sich etwa Ticketsysteme, Wissensdatenbanken oder interne Anwendungen anbinden, ohne jede Integration völlig neu zu entwerfen. Ein Connector übernimmt dabei die technische Verbindung und stellt ausgewählte Funktionen oder Datenquellen bereit.

Die wichtigste Sicherheitsregel lautet: Ein Dienst darf nur die kleinste nötige Berechtigung erhalten. Ein Agent, der Bestellstatus lesen soll, braucht keinen Zugriff zum Ändern oder Löschen von Bestellungen. Trenne Lese- und Schreibrechte, verwende getrennte Konten und begrenze den Zugriff nach Umgebung, Nutzergruppe und Datenbereich.

Prüfe vor der Freigabe jedes MCP-Servers drei Punkte:

• Welche Werkzeuge und Ressourcen werden tatsächlich veröffentlicht?
• Welche Daten können übertragen, verändert oder gelöscht werden?
• Wie werden Aufrufe authentifiziert, protokolliert und widerrufen?

Nutze für die Anmeldung kurzlebige Zugangstoken oder einen geeigneten OAuth-Flow. API-Schlüssel gehören nicht in Prompts, exportierte Workflows oder Quellcode. Hinterlege Geheimnisse in einer verwalteten Umgebung und tausche sie regelmäßig aus. Ein abgelaufenes Token muss einen kontrollierten Fehler auslösen, nicht einen stillen Ersatzweg.

Behandle externe Tool-Beschreibungen nicht automatisch als vertrauenswürdig. Ein Connector kann fehlerhafte oder manipulierte Inhalte liefern. Trenne deshalb Nutzdaten von Anweisungen und verhindere, dass ein Text aus einem Dokument eigenständig neue Berechtigungen oder Aktionen auslöst. Besonders riskant sind Werkzeuge mit Schreibzugriff, Dateiupload, Shell-Befehlen oder Kontoveränderungen.

Für kritische Aktionen empfiehlt sich eine zusätzliche Freigabestufe. Der Agent erstellt zunächst einen strukturierten Vorschlag mit Ziel, Parametern und erwarteten Folgen. Erst nach der Bestätigung darf der Connector die Aktion ausführen.

Erfasse außerdem jeden Aufruf mit Zeitstempel, Nutzerkennung, Connector, Funktionsname, Ergebnis und Fehlerstatus. Speichere dabei nur Daten, die für Kontrolle und Fehlersuche erforderlich sind. So entsteht eine nachvollziehbare Spur, ohne sensible Inhalte unnötig zu vervielfachen.

Für personenbezogene Daten gelten die Grundsätze der DSGVO. Prüfe Auftragsverarbeitung, Speicherort, Löschfristen und Drittlandübermittlungen. Nach dem EU AI Act müssen Betreiber je nach Einsatzbereich außerdem Transparenz, Risikomanagement und Protokollierung berücksichtigen. Die konkrete Pflicht hängt vom System und seinem Verwendungszweck ab; eine pauschale Einstufung reicht nicht.

Gesprächszustand, Dateien und Kontext effizient verwalten

Ein Agent arbeitet nur dann zuverlässig über mehrere Nachrichten hinweg, wenn sein Gesprächszustand sauber verwaltet wird. Speichere deshalb nicht jede frühere Äußerung dauerhaft. Halte nur Informationen fest, die für den weiteren Vorgang wirklich nötig sind, etwa die gewählte Sprache, eine Vorgangsnummer oder bereits bestätigte Anforderungen.

Trenne Sitzungsdaten von dauerhaften Profildaten. Sitzungsdaten gelten nur für den aktuellen Fall. Profildaten können länger bestehen, benötigen aber einen klaren Zweck, eine passende Aufbewahrungsfrist und eine Möglichkeit zur Korrektur oder Löschung. Diese Unterscheidung verhindert, dass alte Annahmen später als aktuelle Fakten erscheinen.

Bei langen Gesprächen wächst der Kontext schnell. Fasse abgeschlossene Abschnitte deshalb in kompakten Zustandsobjekten zusammen. Bewahre dabei Entscheidungen, offene Punkte und Belege getrennt auf. Eine gute Zusammenfassung lautet nicht „Kunde war unzufrieden“, sondern etwa: „Lieferung verspätet, Erstattung gewünscht, Bestellnummer bestätigt, Rückzahlung noch nicht ausgelöst.“

Nutze für den Kontext eine feste Struktur:

• Ziel: Was soll in dieser Sitzung erreicht werden?
• Fakten: Welche Angaben wurden bestätigt?
• Offene Punkte: Welche Information fehlt noch?
• Entscheidungen: Was wurde bereits festgelegt?
• Nächster Schritt: Welche Aktion steht unmittelbar an?

Dateien sollten nicht pauschal in jede Runde übernommen werden. Prüfe zunächst Dateityp, Größe, Sprache und Inhalt. Für ein PDF mit 200 Seiten ist es meist sinnvoller, relevante Abschnitte gezielt zu verarbeiten, statt den gesamten Inhalt in den Gesprächskontext zu legen. Tabellen, Scans und komplexe Layouts benötigen zudem eine passende Texterkennung oder strukturierte Aufbereitung.

Verknüpfe jede Datei mit Metadaten wie Dateiname, Version, Erstellungsdatum und Herkunft. So kann der Agent erkennen, ob zwei Dokumente denselben Inhalt in unterschiedlichen Fassungen enthalten. Bei widersprüchlichen Versionen sollte der Zustand beide Fundstellen markieren, statt still eine davon zu bevorzugen.

Begrenze die Lebensdauer temporärer Dateien und Gesprächszustände. Lege für jede Datenart eine Frist fest und lösche sie automatisiert, sobald der Zweck entfällt. Bei personenbezogenen oder vertraulichen Dateien gehört außerdem eine Prüfung der Zugriffsrechte in den Ablauf.

Bei Kontextkomprimierung darf keine wichtige Information verloren gehen. Teste daher, ob der Agent nach einer Zusammenfassung weiterhin Namen, Zahlen, Fristen und Nutzerentscheidungen korrekt wiedergibt. Besonders kritische Werte sollten zusätzlich als strukturierte Felder gespeichert werden, nicht nur als Fließtext.

Beispiel: Einen RAG-Agenten für interne Unternehmensdokumente erstellen

Ein RAG-Agent für interne Unternehmensdokumente beantwortet Fragen nicht aus dem Gedächtnis des Sprachmodells. Er sucht zuerst in einem abgegrenzten Dokumentbestand, übernimmt passende Textstellen und erstellt daraus eine Antwort. Für ein belastbares Ergebnis zählt die Qualität der Wissensbasis mehr als die bloße Menge der Dateien.

Als Beispiel dient ein Agent für die Personalabteilung. Mitarbeitende fragen: „Wie viele Urlaubstage kann ich ins nächste Jahr übertragen?“ Der Agent soll die gültige Richtlinie finden, die Antwort verständlich formulieren und die betreffende Passage nennen. Eine veraltete Betriebsvereinbarung darf dabei nicht gleichrangig mit der aktuellen Fassung behandelt werden.

Bereite die Dokumente in einem festen Verfahren vor:

• Veraltete und doppelte Fassungen aussortieren
• Überschriften, Absätze und Tabellen strukturerhaltend extrahieren
• Dokumente in sinnvolle Abschnitte zerlegen
• Version, Gültigkeit, Abteilung und Freigabestatus als Metadaten speichern
• Zugriffsgruppen mit jedem Dokument verknüpfen

Die Abschnittsgröße sollte zum Inhalt passen. Ein einzelner Satz liefert meist zu wenig Zusammenhang. Ein kompletter Vertrag enthält dagegen oft zu viele Themen. Praktisch sind Abschnitte, die eine Regel samt Ausnahme und kurzer Erläuterung enthalten. Überschneidungen zwischen benachbarten Abschnitten helfen, wenn ein Satz über eine Absatzgrenze hinweg verstanden werden muss.

Der Ablauf im Agent Builder kann aus fünf Stationen bestehen: Frage entgegennehmen, Nutzerberechtigung prüfen, relevante Abschnitte suchen, Treffer nach Aktualität und Zugriffsrecht filtern und Antwort mit Fundstellen erzeugen. Die Berechtigungsprüfung muss vor der Ausgabe liegen. Sonst könnten Inhalte an die falsche Person gelangen.

Formuliere für den Agenten eine strenge Belegregel: Er darf nur Aussagen verwenden, die durch gefundene Abschnitte gestützt werden. Reichen die Treffer nicht aus, antwortet er mit einer klaren Einschränkung und nennt den nächsten Kontaktweg. Eine erfundene Auskunft klingt oft glatt und freundlich, ist für interne Richtlinien aber brandgefährlich.

Teste den RAG-Agenten mit realistischen Fragen. Dazu gehören direkte Fragen, falsche Annahmen, veraltete Begriffe, fehlende Zugriffsrechte und Anfragen, die in keinem Dokument beantwortet werden. Bewerte nicht nur die Formulierung, sondern auch Trefferqualität, Quellenbezug, Aktualität und korrektes Verhalten bei Wissenslücken.

Ein sinnvoller Zielwert ist eine getrennte Messung von Retrieval-Qualität und Antwortqualität. Findet der Agent die richtige Passage, formuliert aber eine falsche Schlussfolgerung, liegt das Problem in der Antwortlogik. Findet er schon die falsche Datei, muss die Dokumentaufbereitung oder die Suchkonfiguration verbessert werden.

ChatKit für die Einbindung in eigene Anwendungen anpassen

ChatKit eignet sich als anpassbare Oberflächenschicht für einen Agenten-Workflow. Statt eine Chatansicht, Nachrichtenlogik und Statusanzeigen von Grund auf zu entwickeln, bindest du die bereitgestellten UI-Bausteine in deine eigene Anwendung ein. Der Agent bleibt dabei im Backend, während ChatKit die Interaktion im Frontend sichtbar macht.

Lege zuerst den Nutzungskontext fest. Ein Support-Portal benötigt andere Elemente als eine interne Analyseoberfläche. Für jede Anwendung solltest du entscheiden, ob Nutzer nur Nachrichten senden oder auch Dateien, Auswahlfelder, Tabellen und Aktionsschaltflächen verwenden sollen. Diese Entscheidung beeinflusst die Widget-Struktur und den Informationsfluss.

Eine sinnvolle ChatKit-Anpassung umfasst meist:

• Markenbild: Farben, Schrift, Logo und Abstände an das bestehende Design angleichen
• Nachrichtenlayout: Antworten, Quellen, Warnungen und Statusinformationen unterscheidbar darstellen
• Eingabe: Freitext, Auswahloptionen oder Dateiupload passend zur Aufgabe anbieten
• Widgets: strukturierte Inhalte wie Karten, Tabellen oder Fortschrittsanzeigen einbinden
• Actions: konkrete Folgeaktionen direkt in der Oberfläche auslösen

Actions sollten eine eindeutige Beschriftung und ein klares Ergebnis haben. „Anfrage senden“ ist besser als „Weiter“, wenn tatsächlich ein Formular an ein System übermittelt wird. Zeige vor der Ausführung die wichtigsten Parameter an und gib nach dem Abschluss eine verständliche Rückmeldung. Ein kleines Statusfeld verhindert unnötige Mehrfachklicks.

Nutze Widgets, wenn freier Text die Information unnötig verschleiert. Eine Liste offener Tickets, eine Vergleichstabelle oder eine Auswahl von Lieferoptionen lässt sich schneller erfassen als ein langer Absatz. Für mobile Geräte müssen diese Elemente responsiv bleiben. Breite Tabellen brauchen eine alternative Darstellung.

Plane Lade- und Fehlerzustände ausdrücklich ein. Während eine längere Antwort entsteht, kann ChatKit einen Zwischenstatus oder Streaming-Inhalt anzeigen. Bei einem Abbruch sollte die Oberfläche den Grund verständlich nennen und eine erneute Ausführung ermöglichen. Technische Details gehören in Protokolle, nicht in eine kryptische Meldung für Endnutzer.

Beachte außerdem Barrierefreiheit und Mehrsprachigkeit. Tastaturbedienung, ausreichende Kontraste, verständliche Fokuszustände und vorlesbare Statusmeldungen sind keine Kür. Texte für Schaltflächen, Fehlermeldungen und leere Zustände sollten zentral verwaltet werden, damit Übersetzungen und spätere Änderungen nicht auseinanderlaufen.

Für die Einbindung in eine eigene Anwendung empfiehlt sich eine klare Trennung zwischen Frontend und Agentenlogik. Das Frontend steuert Darstellung und Nutzeraktionen. Das Backend prüft Sitzungen, übergibt freigegebene Eingaben und verarbeitet Ergebnisse. API-Schlüssel und interne Workflow-Details bleiben dabei serverseitig.

Agenten-Workflows mit Evals, Gradern und Prompt-Optimierung prüfen

Evals prüfen einen Agenten nicht nach Gefühl, sondern anhand festgelegter Testfälle. Lege dafür typische, schwierige und bewusst fehlerhafte Eingaben an. Ein Datensatz mit 50 bis 100 Fällen liefert für einen ersten Vergleich oft mehr Erkenntnisse als einzelne manuelle Tests.

Bewerte jeden Fall mit mehreren Kriterien. Bei einem Support-Agenten können das fachliche Richtigkeit, Vollständigkeit, Quellenbezug, Tonalität und Format sein. Trenne diese Werte, statt eine einzige Gesamtzahl zu verwenden. Sonst bleibt unklar, ob ein schlechter Wert durch falsche Fakten oder nur durch eine unpassende Formulierung entsteht.

• Erwartungstreue: Erfüllt die Antwort die konkrete Nutzerabsicht?
• Faktentreue: Enthält sie nur belegbare Aussagen?
• Vollständigkeit: Fehlt ein wichtiger Teil der Lösung?
• Format: Ist die Ausgabe für Mensch und System nutzbar?
• Robustheit: Bleibt das Verhalten bei unklaren Eingaben stabil?

Grader übersetzen diese Kriterien in Bewertungen. Ein regelbasierter Grader eignet sich für exakte Werte, Pflichtfelder oder verbotene Begriffe. Ein sprachbasierter Grader kann dagegen beurteilen, ob eine Erklärung verständlich und sachlich ist. Für wichtige Entscheidungen solltest du automatische Bewertungen mit Stichproben durch Fachleute abgleichen.

Erfasse neben dem Ergebnis auch technische Messwerte wie Antwortzeit, Tokenverbrauch, Werkzeugfehler und Abbruchrate. Ein Prompt, der die Qualität leicht erhöht, aber die Laufzeit verdoppelt, ist nicht automatisch die beste Lösung. Entscheidend ist das Verhältnis aus Nutzen, Aufwand und Risiko.

Bei der Prompt-Optimierung ändere immer nur eine größere Einflussgröße zur selben Zeit. Vergleiche dann die neue Version mit demselben Testdatensatz. Entferne Regeln, die keine messbare Verbesserung bringen. Lange Anweisungen wirken zwar gründlich, können aber wichtige Vorgaben verdecken.

Besonders wertvoll sind Gegenbeispiele. Ergänze Fälle mit Tippfehlern, widersprüchlichen Angaben, ungewöhnlichen Formulierungen und absichtlichen Umgehungsversuchen. So zeigt sich, ob der Agent auch unter Druck vernünftig reagiert.

Führe Evals nach jeder relevanten Änderung erneut aus. Speichere Prompt-Version, Modell, Werkzeuge, Testdaten und Ergebnisse gemeinsam. Dadurch wird sichtbar, wann sich eine Kennzahl verbessert oder eine andere unbemerkt verschlechtert.

Guardrails, Freigaben und Sicherheitsregeln für zuverlässige Aktionen einrichten

Guardrails begrenzen nicht nur unerwünschte Antworten. Sie steuern auch, wann ein Agent handeln darf, welche Parameter zulässig sind und wann der Ablauf stoppen muss. Lege diese Regeln möglichst außerhalb des freien Prompts als prüfbare Bedingungen an. So bleiben sie auch bei wechselnden Modellen und neuen Anweisungen wirksam.

Teile die Schutzregeln in drei Ebenen:

• Eingabeprüfung: Erkenne riskante Absichten, fehlende Pflichtangaben und unzulässige Inhalte vor der Verarbeitung.
• Aktionsprüfung: Kontrolliere Werkzeug, Ziel, Parameter und Umfang unmittelbar vor dem Aufruf.
• Ausgabeprüfung: Blockiere Ergebnisse mit verbotenen Daten, unsicheren Empfehlungen oder nicht erlaubten Zusagen.

Arbeite bei Aktionen mit einer Freigabematrix. Eine harmlose Statusabfrage kann automatisch laufen. Eine Gutschrift, Vertragsänderung oder Löschung verlangt dagegen eine Bestätigung oder eine zweite Berechtigung. Entscheidend ist nicht, ob der Agent die Aktion sprachlich überzeugend beschreibt, sondern ob sie für den konkreten Fall freigegeben ist.

Definiere Schwellenwerte für Geldbeträge, Empfänger, Datenarten und Reichweite. Ein Agent darf zum Beispiel Rückzahlungen bis 50 Euro auslösen, darüber aber nur einen Vorschlag erzeugen. Lege außerdem fest, ob eine Freigabe einmalig, pro Vorgang oder nur für eine bestimmte Sitzung gilt.

Eine Freigabe muss verständlich sein. Zeige der verantwortlichen Person den Zweck, die betroffenen Daten, die geplante Änderung und mögliche Folgen. Vermeide Sammelbestätigungen wie „Alles ausführen“. Besser sind einzelne Aktionen mit klarer Beschreibung und einer sichtbaren Möglichkeit zum Ablehnen.

Behandle Ablehnungen, Zeitüberschreitungen und widersprüchliche Freigaben als eigene Zustände. Der Agent darf eine verweigerte Aktion nicht einfach erneut anstoßen oder über einen anderen Weg umgehen. Ein sauberer Abbruch mit kurzer Begründung ist hier besser als scheinbare Hilfsbereitschaft.

Nutze zusätzlich Grenzwerte für Wiederholungen. Mehrere fehlgeschlagene Anmeldeversuche, ungewöhnlich viele Datensätze oder eine lange Folge von Werkzeugaufrufen können auf einen Fehler oder Missbrauch hindeuten. Nach dem Grenzwert pausiert der Workflow und erzeugt einen Prüfhinweis.

Teste die Guardrails mit absichtlichen Umgehungsversuchen. Prüfe etwa verschleierte Befehle, widersprüchliche Rollenangaben, manipulierte Dokumentinhalte und ungewöhnliche Parameter. Eine Schutzregel ist erst belastbar, wenn sie auch den Sonderfall übersteht.

Dokumentiere jede Regel mit Zweck, Verantwortlichem, Ausnahmen und Änderungsdatum. Für risikoreiche Anwendungen sollte außerdem ein klarer Notfallweg existieren, der den Agenten deaktiviert, ohne den gesamten Geschäftsbetrieb lahmzulegen.

Workflows bereitstellen, beobachten und für Leistung und Kosten optimieren

Vor dem produktiven Einsatz braucht der Workflow eine saubere Übergabe vom Entwurf in eine kontrollierte Laufzeitumgebung. Veröffentliche nur eine festgelegte Version und halte Änderungen an Anweisungen, Modellparametern und Verbindungen nachvollziehbar fest. Eine Versionskennung erleichtert den Rückweg, falls eine neue Fassung unerwartete Ergebnisse liefert.

Trenne Entwicklungs-, Test- und Produktionsumgebung. So gelangen experimentelle Änderungen nicht direkt in einen laufenden Prozess. Für die Veröffentlichung gehört eine kurze Checkliste dazu:

• Version eindeutig benennen
• Abhängigkeiten und Umgebungsvariablen prüfen
• verwendete Modelle und Limits dokumentieren
• Rückfall auf die vorige Version ermöglichen
• Start- und Abschaltverhalten festlegen

Beobachte den Workflow mit technischen und fachlichen Kennzahlen. Technische Werte zeigen, ob der Dienst stabil läuft. Fachliche Werte zeigen, ob er seinen Zweck erfüllt. Sinnvoll sind etwa Erfolgsquote, Abbruchrate, durchschnittliche Laufzeit, Kosten pro Vorgang und Anteil manueller Nachbearbeitung.

Erfasse außerdem die einzelnen Laufphasen. Wenn ein Durchlauf langsam ist, muss erkennbar sein, ob die Verzögerung beim Modell, bei einer Datenquelle oder bei der Ausführung eines Werkzeugs entsteht. Speichere keine vollständigen Inhalte, wenn kurze Metadaten für die Analyse reichen.

Lege Warnschwellen statt bloßer Diagramme fest. Ein Alarm kann auslösen, wenn die Fehlerquote über fünf Prozent steigt, die Antwortzeit den Zielwert überschreitet oder die Kosten pro Vorgang deutlich vom Durchschnitt abweichen. Eine solche Schwelle braucht immer eine zuständige Person und eine definierte Reaktion.

Optimiere die Leistung zuerst an den größten Zeitblöcken. Kürzere Eingaben, weniger unnötige Zwischenschritte und parallele Verarbeitung unabhängiger Aufgaben senken oft die Latenz. Streaming verbessert dagegen vor allem das gefühlte Tempo, nicht zwingend die gesamte Rechenzeit.

Für geringere Kosten helfen drei Hebel:

• ein kleineres Modell für einfache Teilaufgaben einsetzen
• wiederkehrende Anweisungen und Inhalte durch Prompt Caching effizienter verarbeiten
• nicht zeitkritische Massenaufgaben über Batch-Verarbeitung bündeln

Beobachte die Kosten pro Geschäftsfall, nicht nur die monatliche Gesamtsumme. Ein Agent kann insgesamt günstig wirken und trotzdem einzelne Vorgänge unverhältnismäßig teuer machen. Teile den Verbrauch nach Workflow-Version, Modell, Abteilung oder Funktion auf.

Rate Limits und Wiederholungsversuche müssen zur Belastung des Zielsystems passen. Verwende abgestufte Wartezeiten bei vorübergehenden Fehlern und begrenze die Zahl der Wiederholungen. Bei dauerhaften Fehlern sollte der Lauf in einen nachvollziehbaren Fehlerstatus wechseln.

Nach der Veröffentlichung gehört eine regelmäßige Betriebsprüfung zum Workflow. Vergleiche aktuelle Kennzahlen mit einem stabilen Ausgangswert, prüfe Änderungen bei externen Schnittstellen und entferne ungenutzte Versionen. Ein Agent ist nicht mit dem Klick auf „Bereitstellen“ fertig; erst der verlässliche Betrieb macht aus dem Entwurf eine belastbare KI-Lösung.

Fazit: Lösung testen, absichern und schrittweise produktiv einsetzen

Ein KI-Agent ist erst dann produktionsreif, wenn sein Nutzen im Alltag messbar ist. Prüfe deshalb nicht nur, ob der Workflow technisch läuft. Vergleiche auch Bearbeitungszeit, Fehlerfolgen, Nutzerakzeptanz und tatsächliche Entlastung im betroffenen Prozess.

Starte mit einem begrenzten Einsatzbereich und einem klaren Erfolgskriterium. Ein kleiner Pilot zeigt schneller, ob Annahmen stimmen. Sammle Rückmeldungen von den Personen, die täglich mit der Lösung arbeiten. Ihre Hinweise zeigen oft Probleme, die kein technischer Test sichtbar macht.

Für die Einführung bewährt sich ein gestuftes Vorgehen:

• zuerst ein klar abgegrenzter Prozess mit überschaubarem Risiko
• danach ein Pilot mit ausgewählten Nutzergruppen
• anschließend eine kontrollierte Erweiterung auf weitere Fälle
• zuletzt eine regelmäßige Überprüfung des geschäftlichen Nutzens

Dokumentiere dabei nicht nur die Technik. Halte auch Zweck, Verantwortlichkeiten, bekannte Grenzen und zulässige Einsatzbereiche fest. Nutzer müssen erkennen können, wann sie der Lösung vertrauen dürfen und wann eine fachliche Entscheidung außerhalb des Agenten nötig ist.

Beziehe betroffene Teams früh ein. Schulungen sollten keine langen Funktionslisten erklären, sondern konkrete Abläufe zeigen: Welche Eingabe ist sinnvoll? Wie wird ein Ergebnis korrigiert? Wo lässt sich ein Problem melden? Eine verständliche Einführung verhindert, dass gute Funktionen aus Unsicherheit kaum genutzt werden.

Prüfe vor der Ausweitung, ob sich der Prozess verändert hat. Neue Dokumente, interne Regeln, Schnittstellen oder Nutzergruppen können die ursprünglichen Annahmen entkräften. Auch rechtliche Anforderungen entwickeln sich weiter. Im Europäischen Wirtschaftsraum sollten Verantwortliche daher den jeweiligen Einsatzbereich des EU AI Act und geltende Datenschutzpflichten regelmäßig neu bewerten.

Veröffentliche gegenüber Nutzern klar, wann KI beteiligt ist. Eine kurze Kennzeichnung reicht oft, sofern sie verständlich ist und nicht im Kleingedruckten verschwindet. Für bestimmte Anwendungen gelten weitergehende Transparenzpflichten. Die konkrete Umsetzung hängt vom System, vom Inhalt und vom Risiko des Einsatzes ab.

Der sinnvollste Maßstab ist am Ende nicht die Zahl der Nodes oder die technische Raffinesse. Entscheidend ist, ob der Agent eine konkrete Aufgabe verlässlich, nachvollziehbar und wirtschaftlich unterstützt. Wer klein startet, sauber misst und aus echten Fällen lernt, baut keine bloße Demo, sondern eine Lösung mit dauerhaftem Wert.

Häufige Fragen zum Erstellen individueller KI-Lösungen