KI-Chatbot entwickeln: vom GPT-Prototyp zum Produktivbetrieb

Kurz gefasst: Ein Chatbot-Prototyp mit GPT oder Claude steht in einem Nachmittag. Produktionsreif wird er erst, wenn er auf Ihr eigenes Wissen zugreift (meist per RAG), klare Grenzen kennt, unsichere Fälle an Menschen übergibt und laufend gegen echte Fragen getestet wird. Der größte Teil der Arbeit steckt in diesen Schichten rund um das Sprachmodell, weniger im Modell selbst.

Warum der Prototyp täuscht

Ein Systemprompt, eine API und ein Chatfenster: Damit wirkt ein KI-Chatbot schon in der ersten Demo beeindruckend. Die Probleme zeigen sich, sobald echte Nutzer kommen. Sie stellen Fragen, die im Prompt nicht vorgesehen sind, fragen nach Preisen, die das Modell erfindet, oder versuchen, den Bot zu Aussagen zu bringen, für die Ihr Unternehmen nicht geradestehen will.

Ein Sprachmodell weiß nichts über Ihre Produkte, Lieferzeiten oder Kulanzregeln. Es formuliert plausible Antworten. Ohne Anbindung an verlässliche Daten entstehen daraus sogenannte Halluzinationen: falsche Aussagen, die überzeugend klingen.

Die Bausteine eines produktiven Chatbots

Wissensanbindung mit RAG

Retrieval-Augmented Generation (RAG) ist der übliche Weg, einem Modell Ihr Wissen zu geben. Dokumente, FAQ-Seiten und Produktdaten werden in Abschnitte zerlegt, als Vektoren gespeichert und bei jeder Frage durchsucht. Die passenden Abschnitte landen zusammen mit der Frage im Prompt, und das Modell antwortet auf dieser Grundlage.

Die Qualität hängt stark an der Vorbereitung: wie Dokumente geschnitten werden, ob veraltete Versionen aussortiert sind und ob die Suche semantische und klassische Stichwortsuche kombiniert. Für Daten, die sich ständig ändern, etwa Lagerbestand oder Bestellstatus, ist eine direkte Abfrage über eine Schnittstelle besser als ein Dokumentenindex. Mehr zur Architektur solcher Systeme lesen Sie in unserem Beitrag zur LLM-Integration im Unternehmen.

Werkzeuge und Aktionen

Viele Bots sollen auch handeln: einen Termin buchen, ein Ticket anlegen, einen Lead ins CRM schreiben. Moderne Modelle unterstützen dafür Tool Calling. Das Modell entscheidet, welche Funktion es mit welchen Parametern aufrufen will, Ihr Backend führt sie aus. Jede Aktion braucht dabei eine serverseitige Prüfung, denn das Modell darf nie die letzte Instanz für Berechtigungen sein.

Leitplanken und Übergabe an Menschen

Legen Sie fest, worüber der Bot spricht und worüber nicht. Ein Kundenservice-Bot muss keine Rechtsberatung geben und keine Rabatte versprechen. Ebenso wichtig ist die Übergabe: Wenn der Bot unsicher ist, der Kunde verärgert wirkt oder ausdrücklich einen Menschen verlangt, geht das Gespräch mit Zusammenfassung an Ihr Team. Wie das im Kundenservice konkret aussieht, beschreibt unser Artikel zur Automatisierung im Kundensupport.

Testen, bevor Kunden es tun

Ein Chatbot verhält sich nicht deterministisch. Eine kleine Prompt-Änderung kann Antworten an ganz anderer Stelle verschlechtern. Deshalb gehört ein Testsatz dazu: eine Sammlung realer Fragen mit erwarteten Antworten oder Kriterien, die vor jeder Änderung durchläuft. Dazu kommen gezielte Angriffsversuche, etwa Prompt Injection ("Ignoriere alle vorherigen Anweisungen…"), Fragen außerhalb des Themas und Fragen nach vertraulichen Daten.

Ein Teil der Bewertung lässt sich automatisieren, etwa durch ein zweites Modell, das Antworten anhand von Kriterien prüft. Ganz ersetzen sollte das die menschliche Stichprobe nicht.

Betrieb: Monitoring, Kosten, Datenschutz

Monitoring und Verbesserung

Im Betrieb protokollieren Sie Gespräche (datenschutzkonform), Antwortzeiten, Übergaben und Rückmeldungen der Nutzer. Diese Daten zeigen, wo Wissen fehlt und welche Fragen der Bot regelmäßig nicht beantworten kann. Wer diese Lücken wöchentlich schließt, hat nach einigen Monaten einen deutlich besseren Bot.

Kosten und Antwortzeit

Abgerechnet wird nach Tokens. Lange Prompts mit viel Kontext kosten mehr und dauern länger. Prompt-Caching, kleinere Modelle für einfache Aufgaben und gestreamte Antworten halten Kosten und gefühlte Wartezeit niedrig.

DSGVO und EU AI Act

Klären Sie, wo Daten verarbeitet werden, schließen Sie Auftragsverarbeitungsverträge und geben Sie dem Modell keine personenbezogenen Daten, die es nicht braucht. Der EU AI Act verlangt zudem Transparenz: Nutzer müssen erkennen können, dass sie mit einer KI sprechen.

Häufige Fragen (FAQ)

Welches Sprachmodell eignet sich für einen Unternehmens-Chatbot?

Die großen Modelle von OpenAI, Anthropic, Google und Mistral sind für Kundengespräche alle geeignet. Die Wahl hängt von Datenschutzanforderungen, Kosten, Antwortzeit und Sprachqualität im Deutschen ab. Eine saubere Architektur erlaubt es, das Modell später zu wechseln.

Muss ich ein eigenes Modell trainieren?

In aller Regel nicht. Für Firmenwissen ist RAG der bessere Weg, weil Inhalte sofort aktualisiert werden können und Quellen nachvollziehbar bleiben. Fine-Tuning lohnt sich eher für einen bestimmten Stil oder ein enges Ausgabeformat.

Wie verhindere ich, dass der Bot falsche Dinge behauptet?

Komplett ausschließen lässt sich das nicht. Sie reduzieren das Risiko deutlich, wenn der Bot nur auf Basis abgerufener Quellen antworten darf, bei fehlenden Informationen offen sagt, dass er es nicht weiß, und kritische Themen an Menschen übergibt.

Wie lange dauert es bis zum produktiven Chatbot?

Ein eng abgegrenzter Bot mit gepflegter Wissensbasis ist in wenigen Wochen einsatzbereit. Länger dauert es, wenn Inhalte erst aufbereitet oder viele Systeme angebunden werden müssen.

Fazit

Ein produktiver Chatbot ist ein kleines Softwareprodukt mit Datenpipeline, Tests und Betrieb. Wer früh in Wissensbasis, Übergabe und Testsatz investiert, bekommt einen Bot, dem Kunden vertrauen, und kann das Modell darunter austauschen, ohne von vorn anzufangen.

Wenn Sie einen Chatbot für Ihr Unternehmen planen, sprechen Sie mit uns über KI & Automatisierung.