Herausforderung

Der Kunde steht vor der Aufgabe, für zahlreiche Behörden eine zuverlässige und sichere Datenverarbeitung zu ermöglichen. Dabei müssen große Datenmengen gesammelt, gespeichert und verarbeitet werden - unter Einhaltung hoher Sicherheitsanforderungen. Die Plattformen befinden sich in einer Umgebung ohne direkten Internetzugang und sind in verschiedene Sicherheitszonen unterteilt. Ziel des Projekts ist es, den Behörden eine auf ihre Anforderungen zugeschnittene Cloudera Data Platform (CDP) bereitzustellen, die sie eigenständig nutzen können. Neben der initialen Bereitstellung umfasst das Projekt auch die kontinuierliche Instandhaltung, Weiterentwicklung der Cluster sowie die Umsetzung individueller Kundenwünsche.

Vorgehen

Das Projekt wird methodisch nach Scrum umgesetzt. Für umfangreiche Entwicklungsaufgaben, die den Rahmen eines Sprints überschreiten, werden einzelne Teammitglieder gezielt aus dem regulären Scrum-Prozess herausgelöst. Ein Beispiel hierfür ist die Migration von der Cloudera Data Science Workbench (CDSW) auf den Cloudera Data Service Cloudera AI. Zusätzlich existiert ein dediziertes Betriebsteam, das unabhängig vom Scrum-Prozess arbeitet und sich um die Behebung von Störungen sowie die Bearbeitung von Kundenmeldungen kümmert. Änderungen an den Plattformkonfigurationen werden zentral über Ansible als Infrastructure as Code (IaC) verwaltet. Nach erfolgreichen Tests in Laborumgebungen erfolgt der automatisierte Rollout über Ansible und Jenkins.

Kundennutzen / Mehrwert

Durch das Projekt stehen den Behörden mehrere CDP-Cluster zur Verfügung, die den sicheren Umgang mit großen Datenmengen ermöglichen - auch ohne direkten Internetzugang. Der Betrieb dieser Plattformen wird dauerhaft sichergestellt, während das Entwicklungsteam kontinuierlich an deren Verbesserung und Aktualisierung arbeitet. Die Mitarbeitenden der ORDIX AG haben dabei eine zentrale Rolle übernommen: Sie haben die Ansible-Konfigurationen vereinheitlicht, neu strukturiert und redundante Einträge entfernt. Darüber hinaus war ORDIX an der Optimierung der Firewallfreischaltungsprozesse beteiligt. Hierbei wurden manuell gepflegte Excel-Dateien in automatisiert verarbeitbare YAML-Dateien überführt und versioniert. Auch die Einführung der Cloudera Data Services sowie die Ablösung der CDSW durch Cloudera AI wurden durch ORDIX aktiv begleitet.