Herausforderung

Mitarbeitende der Behörde konnten moderne KI-Werkzeuge wie ChatGPT oder Gemini aufgrund strikter Datenschutz- und Compliance-Vorgaben nicht nutzen, dabei wäre der Nutzen im täglichen Arbeitsalltag enorm: Fachabteilungen arbeiten intensiv mit umfangreichen Dokumenten, wiederkehrende Prüfaufgaben binden erheblich Zeit, und Entwicklungsteams wollten eigene KI-gestützte Anwendungen aufbauen. Ziel war daher eine vollständige On-Premises betriebene Generative-AI-Plattform, die diesen Nutzen bei vollständiger Transparenz aller Interaktionen realisiert.

Vorgehen

Agiles, iteratives Vorgehen: Ausgehend von einem einfachen Prototypen wurde die Plattform schrittweise zu einer produktionstäuglichen Lösung ausgebaut. Ein interdisziplinäres Team aus externen Spezialisten und kundenseitigen Projektverantwortlichen arbeitete eng zusammen. Parallel zur Applikationsentwicklung wurde die gesamte Infrastruktur inklusive Entwicklungsumgebungen, CI/CD-Pipelines und Betriebsprozesse aufgebaut. Ein besonderes Augenmerk lag auf dem Technologiewechsel: Da der Kunde bislang primär Java-Entwicklung betrieben hatte, mussten Python-Entwicklungsumgebungen und entsprechende Workflows erst etabliert werden. Die enge, vertrauensvolle Zusammenarbeit zwischen externen Spezialisten und internem Team war ein wesentlicher Erfolgsfaktor.

Kundennutzen / Mehrwert

Produktiv betriebene, behördenweite Generative-AI-Plattform auf Basis von IBM WatsonX (On-Premises) mit konkretem Mehrwert in mehreren Bereichen: Das RAG-System ermöglicht Fachabteilungen, gezielt mit internen Dokumenten zu interagieren - Fragen wie "Ist Anforderung XY in diesem Regelwerk enthalten und wird sie erfüllt?" können so in Sekunden beantwortet werden, statt manuell recherchiert zu werden. Da Prompts innerhalb von Fachbereichen geteilt werden können, müssen wiederkehrende Standardanfragen nur einmal formuliert werden, das spürbar Zeit spart und für konsistente Ergebnisse sorgt. Auch der Vergleich von Dokumenten ist möglich: Änderungen zwischen Dokumentversionen oder unterschiedlichen Regelwerken werden durch KI automatisch erkannt und direkt interpretiert, was insbesondere bei rechtlichen Texten erheblich beschleunigt. Entwicklungsteams im IT-Referat können über den OpenAI-kompatiblen Endpunkt von LiteLLM eigene KI-Anwendungen bauen und dabei auf die zentral bereitgestellten Modelle zugreifen, ohne eigene Infrastruktur aufzubauen. Weitere Mehrwerte:

• vollständige Datensouveränität
• Compliance-konformes Arbeiten mit KI
• lückenloses Audit-Log aller Interaktionen (Langfuse) und kein Abfluss sensibler Daten an externe Anbieter

Für ORDIX und unseren Kunden ist das Projekt technologisch ein echter Gewinn: GenAI-Infrastruktur, GitOps, OpenShift, LLM-Observability und On-Premises-LLM-Betrieb sind ein Stack, da diese Themen bei vielen Kunden gerade ganz oben auf der Agenda steht.