KI-Agenten Tech-Stack: Modelle, Frameworks und Tools im Überblick

Kurz gefasst: Ein KI-Agent besteht aus fünf Schichten: einem Sprachmodell, einer Orchestrierung, die Schritte plant und ausführt, Werkzeugen und Schnittstellen zu Ihren Systemen, einem Speicher für Wissen und Verlauf sowie Monitoring und Tests. Für die meisten Unternehmen ist die Wahl des Modells weniger wichtig als die saubere Anbindung an CRM, ERP und Datenquellen. Wer klein mit einem klar abgegrenzten Agenten anfängt und von Beginn an protokolliert, was der Agent tut, kommt schneller in den produktiven Betrieb.

Was einen KI-Agenten von einem Chatbot unterscheidet

Ein Chatbot beantwortet Fragen. Ein Agent erledigt Aufgaben: Er liest eine Anfrage, entscheidet, welche Informationen er braucht, ruft dafür Werkzeuge auf (etwa eine CRM-Suche oder eine Kalender-API), wertet das Ergebnis aus und handelt dann. Diese Schleife aus Denken, Handeln und Prüfen ist der Kern. Daraus ergibt sich auch der Tech-Stack: Neben dem Sprachmodell brauchen Sie Komponenten, die diese Schleife steuern, absichern und nachvollziehbar machen.

Eine praxisnahe Einführung in die Einsatzfelder finden Sie in unserem Beitrag zu KI-Agenten im Unternehmen. Hier geht es um die Technik dahinter.

Die Schichten des KI-Agenten Tech-Stacks

Das Sprachmodell

Die bekannten kommerziellen Modelle von OpenAI, Anthropic und Google beherrschen Tool-Calling zuverlässig und sind über APIs sofort nutzbar. Mit Mistral gibt es einen europäischen Anbieter, und offene Modelle wie Llama oder Qwen lassen sich mit Werkzeugen wie vLLM oder Ollama auf eigener Infrastruktur betreiben. Für deutsche Unternehmen zählt oft die Frage, wo die Daten verarbeitet werden. Azure OpenAI, AWS Bedrock und Google Vertex AI bieten Rechenzentren in der EU an, was die DSGVO-Abstimmung deutlich vereinfacht.

Praktisch bewährt hat sich, das Modell austauschbar zu halten. Ein günstiges, schnelles Modell übernimmt Klassifizierung und Routing, ein stärkeres Modell die schwierigen Entscheidungen.

Orchestrierung und Frameworks

Die Orchestrierung legt fest, wie der Agent Schritte plant, Werkzeuge aufruft und mit Fehlern umgeht. Verbreitete Frameworks sind LangGraph (aus dem LangChain-Umfeld), LlamaIndex mit Schwerpunkt auf Dokumenten, das OpenAI Agents SDK, das Claude Agent SDK und das Vercel AI SDK für TypeScript-Projekte. Für viele Geschäftsprozesse reicht auch ein Workflow-Tool wie n8n, das KI-Schritte mit festen Regeln kombiniert. Wie das aussieht, zeigt unser Artikel über intelligente Workflows mit n8n und KI-APIs.

Unsere Faustregel: Je klarer der Ablauf, desto weniger Agenten-Freiheit braucht es. Ein fest definierter Workflow mit einzelnen KI-Schritten ist leichter zu testen als ein Agent, der jeden Schritt selbst wählt.

Werkzeuge und Schnittstellen

Ein Agent ist nur so nützlich wie die Systeme, die er erreicht. Werkzeuge sind Funktionen mit klarer Beschreibung, die das Modell aufrufen darf: Kunde suchen, Termin anlegen, Angebot erzeugen. Das Model Context Protocol (MCP) hat sich als offener Standard etabliert, um solche Werkzeuge einheitlich bereitzustellen. Wichtig ist, jedem Werkzeug nur die Rechte zu geben, die es braucht. Ein Agent, der Leads liest, muss keine Rechnungen löschen können.

Speicher und Wissen

Für Unternehmenswissen wie Handbücher, Produktdaten oder Verträge kommt Retrieval-Augmented Generation (RAG) zum Einsatz: Dokumente werden in Abschnitte zerlegt, als Vektoren gespeichert und bei Bedarf abgerufen. Wer ohnehin PostgreSQL nutzt, kommt mit der Erweiterung pgvector weit. Spezialisierte Vektordatenbanken wie Qdrant oder Weaviate lohnen sich bei großen Datenmengen. Dazu kommt ein Kurzzeitgedächtnis für den Gesprächsverlauf und, wenn nötig, ein Langzeitgedächtnis pro Kunde.

Monitoring, Tests und Leitplanken

Dieser Teil wird am häufigsten unterschätzt. Tools wie Langfuse (auch selbst hostbar) oder LangSmith zeichnen jeden Modellaufruf, jedes Werkzeug und die Kosten auf. Ohne diese Protokolle wissen Sie nicht, warum ein Agent falsch geantwortet hat. Ergänzt wird das durch automatische Tests mit echten Beispielfällen und durch Leitplanken: Kritische Aktionen wie Zahlungen oder Kundenmails gehen vor dem Versand an einen Menschen zur Freigabe.

Typische Fehler beim Aufbau

Der häufigste Fehler ist, mit dem mächtigsten Framework zu starten, bevor der Prozess klar ist. Der zweite: zu viele Werkzeuge auf einmal. Modelle wählen zuverlässiger, wenn sie zwischen wenigen, klar benannten Funktionen entscheiden. Der dritte betrifft den Datenschutz. Wenn personenbezogene Daten ins Modell fließen, brauchen Sie einen Auftragsverarbeitungsvertrag mit dem Anbieter und eine Prüfung nach dem EU AI Act, sobald der Agent Entscheidungen mit Wirkung auf Menschen trifft.

Häufige Fragen (FAQ)

Welches Framework sollten wir für unseren ersten KI-Agenten wählen?

Das hängt von Ihrem Team ab. Arbeitet es mit TypeScript, ist das Vercel AI SDK ein schlanker Einstieg, bei Python sind LangGraph oder die SDKs der Modellanbieter naheliegend. Für Prozesse mit vielen Systemanbindungen und wenig Sonderlogik ist n8n oft schneller produktiv als jedes Code-Framework.

Können wir KI-Agenten DSGVO-konform betreiben?

Ja, wenn die Architektur darauf ausgelegt ist. Nutzen Sie EU-Rechenzentren oder selbst gehostete Modelle, schließen Sie Auftragsverarbeitungsverträge und geben Sie dem Agenten nur die Daten, die er für die Aufgabe braucht. Protokolle sollten personenbezogene Daten maskieren oder nach einer festen Frist löschen.

Brauchen wir eine eigene Vektordatenbank?

Meist nicht zu Beginn. Wenn Sie bereits PostgreSQL einsetzen, deckt pgvector viele Anwendungsfälle ab. Eine eigene Vektordatenbank wird interessant, wenn sehr viele Dokumente durchsucht werden oder spezielle Filter und Skalierung gefragt sind.

Wie verhindern wir, dass ein Agent falsche Aktionen ausführt?

Durch eng gefasste Werkzeugrechte, Freigabeschritte für kritische Aktionen und ein lückenloses Protokoll. Zusätzlich sollten Sie eine Sammlung realer Testfälle pflegen und nach jeder Änderung am Prompt oder Modell automatisch prüfen.

Fazit

Ein guter KI-Agent entsteht weniger durch die Wahl des neuesten Modells als durch saubere Schnittstellen, eng gefasste Rechte und Monitoring vom ersten Tag an. Wer diese Grundlagen legt, kann Modelle später austauschen, ohne den ganzen Agenten neu zu bauen. Wenn Sie einen ersten Agenten für einen konkreten Prozess planen, unterstützen wir Sie gern bei KI-Automatisierung und Agenten-Entwicklung.