Herausforderung

Unser Kunde stand vor einer entscheidenden Herausforderung, da seine bestehende Big Data Plattform auf Basis der Hortonworks Data Platform (HDP) das Ende des Supports erreicht hatte. Dies erforderte eine strategische Neuausrichtung, um die betriebliche Effizienz und zukünftiges Wachstum sicherzustellen. Der Kunde verfolgte eine Cloud-First-Strategie für seine Big Data Anwendungen, um den Parallelbetrieb von HDP und anderen Cloud-Lösungen zu beenden und gleichzeitig die Infrastruktur zu modernisieren und zukunftssicher zu gestalten.

Vorgehen

Nach einer gründlichen Einarbeitung und Analyse der bestehenden Big Data Anwendungen sowie der vorhandenen Dokumentation haben wir eine Ziel-Architektur entwickelt, die dieselbe Funktionalität mit Google Cloud-Lösungen abbilden kann. Die Entwicklung und Umsetzung dieser Ziel-Architektur erfolgte agil, beginnend mit der Entwicklungsumgebung über die Staging- bis hin zur Produktionsumgebung.

Eine der Anwendungen lief ursprünglich in der HDP auf Apache HBase mit Apache HDFS als verteiltem Speichersystem. Die Nutzdaten wurden durch das zentrale Datenbereitstellungs-Team in der Data Warehouse Lösung Apache Hive bereitgestellt. Die Pipeline zur Verarbeitung der Daten in die Zielanwendung HBase wurde durch Apache Spark Skripte realisiert, die in Scala geschrieben wurden. Als Bestandteil der Migration wurden die Bestandsdaten (mehrere hundert Gigabyte) über Apache NiFi, ein leistungsfähiges Tool zur Datenintegration und Automatisierung, wurden die Bestandsdaten von mehreren hundert Gigabyte stückweise in die Google Cloud übertragen. Mit Dataflow konnten diese schließlich in die Zielanwendung Bigtable geladen werden. Die zukünftige Datenanbindung beginnt direkt in BigQuery und wurde als automatisierte Pipeline in einer Kombination aus Cloud Functions und Workflows realisiert, indem die Abfragen aus den Spark-Skripten in den GoogleSQL-Dialekt überführt wurden.

Für zwei weitere Anwendungen wurde ebenfalls eine neue Verarbeitungspipeline in der Google Cloud entwickelt. Auch diese beziehen die Quelldaten jeweils aus dem zentralen Datenspeicher, dem Data Warehouse, und nutzen für die Verarbeitung in die Zielanwendung ebenfalls ein Konstrukt aus Cloud Functions und Workflows. Der Kundenzugriff auf die Anwendungen ist über ein Frontend realisiert.

Im Zuge der Migration aller Anwendungen konnte die Abfragegeschwindigkeit sogar verbessert werden. Alle von ORDIX® migrierten Anwendungen wurden zusätzlich als Infrastructure as Code (IaC) abgebildet, sodass sie konsistent, schnell und wiederholbar erweitert, auf- und abgebaut werden können.

Kundennutzen/ Mehrwert

Durch die Migration der Anwendungen von der alten Plattform in die Google Cloud trug ORDIX dazu bei, dass die Abschaltung der HDP termingerecht erfolgen konnte.

Dies ermöglichte es dem Kunden, zusätzliche Lizenz- und Hardwarekosten einzusparen, kosteneffizient zu skalieren und gleichzeitig die Infrastruktur für die Anwendungen zu modernisieren und zukunftssicher zu gestalten.

Ein weiterer Vorteil ist das automatische Laden der Daten für die Anwendungen, sodass täglich mit aktuellen Informationen gearbeitet werden kann. Zudem wurde die Abfrageleistung durch die Nutzung der Cloud Services verbessert. Der Wartungsaufwand für die Infrastruktur konnte minimiert werden, während maximale Flexibilität und Datensicherheit gewährleistet sind.

Durch diese Maßnahmen hat der Kunde eine moderne, effiziente und zukunftssichere Big Data Umgebung erhalten, die ihn für nachhaltigen Erfolg und Innovation positioniert.