Eine schlanke, voll funktionsfähige Kubernetes-Umgebung

Ausgangslage

Ein Softwarelieferant kündigte an, die neue Applikation nur noch als Container-Images auszuliefern, vorgesehen für den Betrieb auf einem Kubernetes-Cluster. In der Verantwortung des AFI GR liefen zwar bereits vereinzelt containerisierte Anwendungen, es fehlten jedoch eine Kubernetes-Strategie und das notwendige Know-how im Betrieb und in der Organisation.

Die bestehenden Container-Workloads waren fragmentiert und folgten keiner gemeinsamen Plattformstrategie. Es gab keine durchgängigen Prozesse für Provisionierung, Betrieb/Wartung, Lieferanten-Zugriff oder die Installation von Applikationen von Test- zu Produktionsumgebungen. Zugleich bestand Bedarf an Persistent Storage, Observability, Backup/Restore, Container Registry, Container Platform Security und Self-Service für Lieferanten.

Diese Ausgangslage ist typisch für Kubernetes für die öffentliche Hand: Ein Lieferant macht Kubernetes zur Voraussetzung, während in der eigenen Organisation noch Strategie, Betriebswissen und durchgängige Prozesse fehlen.

Lösung

ONZACK unterstützte den Aufbau einer einfachen, aber vollständigen Kubernetes-Umgebung und ergänzte sie um die Plattformfunktionen, die für Betrieb und Lieferantenintegration nötig waren.

Auf Basis von Rancher, RKE2 und einem guten Dutzend VMs entstand eine schlanke, produktionsfähige Kubernetes-Umgebung mit vollständig getrennter Integrations- und Produktionsumgebung. Updates der Plattform und von Applikationen werden zuerst in der Integration end-to-end getestet und gehen erst danach in die Produktion. Die Plattform wurde gemäss CIS-Benchmarks gehärtet und bietet eine Benutzerverwaltung mit rollenbasierter Zugriffskontrolle. Die Anwendungen werden mit Cilium Network Policies geschützt.

Cluster-Provisionierung und -Lifecycle laufen über GitLab CI Pipelines. Anwendungen werden deklarativ über GitOps mit GitLab CI Pipelines und ArgoCD installiert und betrieben. Für die Verwaltung der Container Images wurde eine Harbor Container-Registry installiert, inklusive Trivy Vulnerability Scanner. Für Runtime Security ist Falco im Einsatz und für Backups Velero, mit separatem S3-Object-Storage als Ziel. Monitoring, Logging und Alerting wurde mit Prometheus, Loki und Grafana gelöst.

Softwarelieferanten erhalten Zugang zur Integrationsumgebung. Änderungen kommen über einen Merge-Request-Prozess in die Produktion, nachvollziehbar und kontrolliert. Über Grafana-Dashboards sehen die Lieferanten selbst, wie sich ihre Anwendungen verhalten, ohne beim AFI GR nachfragen zu müssen.

Alle Komponenten laufen in der Community Edition, ohne laufende Subskriptionskosten. Enterprise-Support kann jederzeit dazugekauft werden, ohne die Plattform neu aufbauen zu müssen.

Vorgehen

Zuerst entstand die notwendige Kubernetes-Basis, danach die ergänzenden Plattformfunktionen. Zwei ONZACK-Ingenieure arbeiteten je einen Tag pro Woche über einen längeren Zeitraum im Team des AFI. Die Tätigkeiten wurden mit den Fach- und Betriebsteams abgestimmt und die Softwarelieferanten wurden über klare Integrations- und Promotionsprozesse von Anfang an eingebunden.

Der Wissenstransfer lief parallel zum Aufbau, damit Betrieb und Weiterentwicklung beim Kunden bleiben konnten. Architektur- und Technologieentscheidungen wurden mit dem Ziel getroffen, dass das AFI die Umgebung mit einem Bruchteil eines FTE selbst betreiben kann.

ONZACK unterstützte ausserdem bei der Migration mehrerer Fachanwendungen nach Kubernetes sowie bei der Formulierung und Kommunikation der Anforderungen an die Lieferanten.

Resultat

Entstanden ist eine schlanke, produktionsfähige Kubernetes-Umgebung mit vollständig getrennter Integrations- und Produktionsstufe und End-to-End-Testbarkeit vor dem Go-live. Das Amt für Informatik musste dafür nicht zuerst Kubernetes-Kompetenz in einem langen Beschaffungsprojekt einkaufen. Weitere Fachanwendungen lassen sich über dieselbe Plattform betreiben, ohne dass dafür ein neues Infrastrukturprojekt nötig wird.

Der Betrieb der gesamten Plattform ist mit ungefähr 0,2 FTE möglich. Es fallen keine Subskriptionskosten an, weil alle Komponenten in der Community Edition laufen. Enterprise-Support bleibt als Option offen, ohne Neuaufbau. Der Aufbau erfolgte auf bestehender Infrastruktur mit nur einem guten Dutzend VMs, ohne spezielle Anschaffungen oder Ausbauten. Die Gesamtkosten des Projekts blieben unter dem Schwellenwert für eine öffentlich-rechtliche Ausschreibung, sodass das Vorhaben im Rahmen eines freihändigen Verfahrens realisiert werden konnte.

Die Plattform ist gemäss CIS-Benchmarks gehärtet. CI/CD- und GitOps-Prozesse greifen durchgängig, vom Cluster-Lifecycle bis zum Applikations-Rollout, inklusive Lieferantenzugang. Observability, Security und Backup/Restore sind Teil der Plattform. Inzwischen laufen darauf mehrere Fachanwendungen und die Plattform wächst mit der Nutzerbasis, ohne komplexer zu werden. Betrieb und Weiterentwicklung liegen beim AFI.

ONZACK und AFI GR

Für diese Aufgabe suchte das Amt für Informatik Graubünden einen unabhängigen Partner, der bei Planung, Design und Aufbau einer Kubernetes-Plattform unterstützt. ONZACK überzeugte durch Referenzprojekte in vergleichbaren Umgebungen, einen pragmatischen Einstieg ohne aufwendiges Vorprojekt und ein klares Verständnis für die Beschränkungen der öffentlichen Hand, von der Ausschreibungsschwelle bis zur bestehenden Infrastruktur. ONZACK wirkte als strategischer Berater und Open-Source-Experte und unterstützte bei der Produktauswahl, dem Design einer schlanken Plattform auf bestehender Hardware und der Planung von Deployment- und Lieferantenintegration.

Dabei wurde ein ganzheitlicher Ansatz gewählt: Technologie, Prozesse und Wissenstransfer liefen von Anfang an parallel. Gemeinsam mit dem AFI GR wurde darauf geachtet, dass Prozesse, Teamverantwortlichkeiten und Know-how-Transfer nicht erst am Schluss, sondern während des Aufbaus verankert werden. So sollte die Plattform den Fach- und Betriebsteams von Anfang an einen Mehrwert liefern und mit einem Bruchteil eines FTE im eigenen Team tragfähig bleiben.

Beim AFI GR konnten wir auf das Know-how aus zwei bestehenden Angeboten zurückgreifen. Container Plattformen beschreibt die Betriebsgrundlage, die mit einem Bruchteil eines FTE tragfähig bleibt. Die Migration der Fachanwendungen nach Kubernetes gehört zur Plattform Modernisierung. Aus der Zusammenarbeit mit dem AFI GR ist eine neue Lösung entstanden: Kubernetes für die öffentliche Hand. Sie fasst zusammen, was Verwaltungen brauchen, wenn ein Lieferant Kubernetes vorgibt: ein überschaubarer Projektumfang, ein Beschaffungsweg, der zur Ausschreibungsschwelle passt, und eine Plattform, die im eigenen Haus bleibt.