LLM-Integration im Unternehmen: Architektur und Praxis

Kurz gefasst: Eine tragfähige LLM-Integration im Unternehmen behandelt das Sprachmodell wie jeden anderen externen Dienst: hinter einer eigenen Schnittstelle, mit validierten Ein- und Ausgaben, Protokollierung und klaren Zugriffsrechten. Unternehmenswissen kommt meist über Retrieval (RAG) ins Modell, Fine-Tuning ist selten der erste Schritt. Qualität sichern Sie mit einem festen Satz an Testfällen, Datenschutz mit EU-Verarbeitung, Auftragsverarbeitungsvertrag und Datensparsamkeit.

Das Modell als austauschbarer Baustein

Der häufigste Architekturfehler besteht darin, Aufrufe an einen bestimmten Anbieter direkt über den ganzen Code zu verteilen. Modelle entwickeln sich schnell, Preise ändern sich, und manchmal muss aus Datenschutzgründen ein anderer Anbieter oder ein selbst betriebenes Modell her.

Bauen Sie deshalb eine eigene Zwischenschicht, oft LLM-Gateway genannt. Sie kapselt die Anbieter-APIs, verwaltet Zugangsschlüssel, setzt Limits pro Nutzer oder Abteilung und protokolliert jeden Aufruf. Die Fachlogik spricht nur mit dieser Schicht. Ein Modellwechsel betrifft dann eine Stelle, nicht hundert.

Strukturierte Ausgaben statt freiem Text

Sobald die Antwort eines Modells weiterverarbeitet wird, etwa in einem CRM oder ERP, brauchen Sie eine feste Struktur. Die großen Anbieter unterstützen strukturierte Ausgaben nach einem JSON-Schema oder Tool-Aufrufe mit definierten Parametern. Prüfen Sie das Ergebnis trotzdem mit einer Validierung in Ihrem Code, bevor es in Ihre Systeme fließt.

Unternehmenswissen anbinden: RAG oder Fine-Tuning

Ein Sprachmodell kennt Ihre Produkte, Verträge und internen Abläufe nicht. Es gibt zwei Wege, das zu ändern.

Bei Retrieval-Augmented Generation (RAG) suchen Sie zu jeder Anfrage die passenden Dokumente aus Ihrem Bestand heraus und geben sie dem Modell als Kontext mit. Dafür werden Dokumente in Abschnitte zerlegt und als Vektoren in einer Datenbank gespeichert, etwa in PostgreSQL mit der Erweiterung pgvector. RAG hat praktische Vorteile: Inhalte sind sofort aktuell, Quellen lassen sich anzeigen, und Zugriffsrechte können pro Dokument geprüft werden.

Fine-Tuning passt ein Modell mit eigenen Beispielen an. Das lohnt sich eher für einen bestimmten Stil oder ein festes Ausgabeformat als für Faktenwissen. In den meisten Unternehmensprojekten kommt man mit gutem Prompting und RAG weiter. Wie Daten aus Dokumenten zuverlässig herausgelesen werden, zeigt unser Beitrag zur KI-gestützten Datenextraktion.

Zugriffsrechte nicht vergessen

Ein internes Assistenzsystem darf einer Mitarbeiterin nur Dokumente zeigen, die sie auch sonst sehen darf. Filtern Sie deshalb schon bei der Suche nach den Berechtigungen des Nutzers. Ein Hinweis im Prompt wie "zeige keine vertraulichen Daten" ist keine Zugriffskontrolle.

Sicherheit und Datenschutz

Prompt Injection

Texte, die das Modell verarbeitet, können Anweisungen enthalten: eine E-Mail, eine Webseite, ein hochgeladenes PDF. Das Modell unterscheidet nicht zuverlässig zwischen Ihren Anweisungen und solchen im Inhalt. Begrenzen Sie daher, was das Modell auslösen darf. Lesende Aktionen sind unkritischer als schreibende. Alles, was Geld kostet, Daten löscht oder nach außen kommuniziert, sollte eine Bestätigung durch einen Menschen erfordern.

DSGVO und EU AI Act

Klären Sie, wo die Daten verarbeitet werden, ob der Anbieter sie für Training nutzt und ob ein Auftragsverarbeitungsvertrag vorliegt. Viele Anbieter bieten Verarbeitung in EU-Rechenzentren und schließen in ihren Geschäftsbedingungen für API-Kunden das Training mit Kundendaten aus. Senden Sie nur die Daten, die für die Aufgabe nötig sind. Je nach Einsatzzweck kommen Pflichten aus dem EU AI Act hinzu, etwa Transparenzpflichten. Einen Überblick gibt unser Artikel Der EU AI Act und Ihre KI-Projekte.

Qualität, Kosten und Betrieb

Evaluierung mit festen Testfällen

Sprachmodelle antworten nicht deterministisch, und ein kleiner Prompt-Wechsel kann an unerwarteter Stelle etwas verschlechtern. Legen Sie deshalb eine Sammlung realer Beispielanfragen mit erwarteten Ergebnissen an und lassen Sie sie bei jeder Änderung an Prompt, Modell oder Retrieval laufen. Bei strukturierten Ausgaben lassen sich viele Prüfungen automatisieren, bei Freitext hilft eine Bewertung durch ein zweites Modell, ergänzt um Stichproben durch Menschen.

Kosten und Antwortzeiten

Die Kosten richten sich nach der Zahl verarbeiteter Tokens. Kleinere Modelle genügen für Klassifizierung und Extraktion, größere setzen Sie nur dort ein, wo es nötig ist. Prompt-Caching der Anbieter senkt die Kosten bei langen, gleichbleibenden Kontexten. Streaming verkürzt die gefühlte Wartezeit in Chat-Oberflächen. Wie das in einem produktiven Chatbot zusammenkommt, beschreiben wir in Eigene KI-Chatbots: von GPT bis zur Produktion.

Häufige Fragen (FAQ)

Brauchen wir ein eigenes, selbst gehostetes Modell?

Nur in bestimmten Fällen, etwa bei sehr sensiblen Daten oder strengen Vorgaben, dass nichts das eigene Rechenzentrum verlässt. Offene Modelle lassen sich selbst betreiben, verlangen aber GPU-Infrastruktur und Pflege. Für die meisten Unternehmen ist ein großer Anbieter mit EU-Verarbeitung der pragmatischere Start.

Wie verhindern wir, dass das Modell Fakten erfindet?

Ganz ausschließen lässt sich das nicht. Sie senken das Risiko deutlich, wenn das Modell nur auf Basis mitgelieferter Quellen antwortet, die Quellen anzeigt und bei fehlender Information ausdrücklich "weiß ich nicht" sagen darf. Kritische Ergebnisse prüft ein Mensch.

Wo fängt man am besten an?

Bei einem internen Anwendungsfall mit klarem Nutzen und überschaubarem Risiko, zum Beispiel der Zusammenfassung von Support-Anfragen oder der Suche in internen Dokumenten. Dort lernen Sie Architektur, Kosten und Grenzen kennen, bevor Kunden das System sehen.

Fazit

Ein erfolgreiches LLM-Projekt hängt weniger vom gewählten Modell ab als von der Architektur darum: austauschbare Anbindung, saubere Rechte, geprüfte Ausgaben und messbare Qualität. Wer diese Grundlagen früh legt, kann Modelle später ohne großen Umbau wechseln. Wenn Sie Sprachmodelle in Ihre Software oder Abläufe integrieren möchten, sprechen Sie mit uns über KI-Integration und Automatisierung.