Schaalbare data-analyse overal mogelijk maken met cloud-native architectuur

Architectuur met Kubernetes is het onmisbare centrumstuk dat data-analyse uitzonderlijk flexibel maakt, overal draaiend op het punt van zakelijke behoefte - en dat op schaal en met hoge gelijktijdigheid, prestaties, efficiëntie en beschikbaarheid.

Duizenden ondernemingen in verticalen variërend van financiële diensten en verzekeringen tot productie en gezondheidszorg ontdekken dat ze publieke en private cloud, hybride en edge-implementaties nodig hebben om het beste aan hun data management en analysebehoeftes te voldoen. Het is dan geen verrassing dat het concept van gedistribueerde cloud deel is van de volwassenwording van de cloud. Het brengen van data warehouses, data lakes en geavanceerde analyses naar een gedistribueerde cloud-architectuur is waar de markt naartoe beweegt. Het uitbreiden van deze architectuur om hogere data management en analyse-services te omvatten leidt van nature tot het idee van een gedistribueerde data cloud. Binnen een gedistribueerde data cloud zullen enterprise data warehouses niet alleen worden gebruikt om analyses te bieden aan een paar honderd bedrijfsanalisten of data scientists in een bedrijf, maar zullen uiteindelijk in staat zijn om realtime analytische applicaties aan te drijven die direct worden gebruikt door de eindklanten van een onderneming, die in de tienduizenden tellen. De data zal direct toegankelijk zijn - en inzichten opleveren - overal.

Zie ook: Cloud-adoptietrends van 2021 versterken in 2022

De bestemming verkennen

Cloud-native is een term die vaak wordt gegooid, maar het heeft een echte betekenis wanneer softwarearchitectuur vanaf de grond af is ontworpen om voordeel te halen uit de voordelen van gedistribueerde cloud. Een volledig gerealiseerde cloud-native data warehouse zou logisch een gedistribueerde data cloud-architectuur moeten benutten. In de ruimste zin brengt dat analyses naar de data waar deze zich bevindt (niet andersom), vermindert concentratierisico, verhoogt de efficiëntie dramatisch en introduceert modernisering voor gecontroleerde uitgaven en een competitieve rand. 

Om het scherper te maken: een cloud-native data management en analyse-technologie zou vijf kernkenmerken moeten vertonen om af te stemmen met het blauwdruk van de gedistribueerde data cloud:

• Een platform-onafhankelijke runtime die het inrichten van data en analyses overal toestaat
• Een gemeenschappelijke gebruikerservaring overal
• Gemeenschappelijke beveiligings- en governance-functies op elk implementatiedoel
• Kosten- en technologie-efficiëntie overal, minimalisatie van resources en mogelijkheid voor sterk kostenbeheer (FinOps) en uitgavenbeperkingen
• Een enkele control plane, die alle implementaties verbindt: publieke cloud, on-premises en aan de netwerkrand

Inzetbaar op het punt van behoefte overal, zal een volledig gerealiseerde cloud-native data warehouse volgens dit patroon ook de complexiteit van cloud, on-premises en netwerkrand-infrastructuur van eindgebruikers afschermen. Het doel is om hen te vrijwaren van infrastructuurdetails en hen te laten focussen op waardecreatie uit analyses en data management, terwijl ze nog steeds de native kracht van de cloud benutten.

De juiste gids kiezen

Hoe wordt die bestemming bereikt? Kubernetes, de open-source container-orchestratietool, biedt de meest populaire weg naar cloud-native operaties. Hoewel het idee van het partitioneren van workloads in Unix al sinds de jaren 70 bestaat, was het pas ongeveer tien jaar geleden dat containers breed geïmplementeerd werden om applicatieontwikkeling makkelijker, meer draagbaar en efficiënter in resourcegebruik te maken. Maar het implementeren van honderden of duizenden applicaties over een enorme microservices-architectuur bleek extreem lastig. Terwijl andere opties bestaan, steeg Google's open-source Kubernetes-project, nu beheerd door de Cloud Native Computing Foundation, tot prominentie om microservices-applicatie-orchestratie op te lossen - waardoor applicaties op generieke infrastructuur kunnen draaien, op standaardmanieren kunnen worden gemonitord en beheerd, en geverifieerd kunnen worden met open standaarden.

Dat is goed en wel voor applicaties. Maar wat met de wereld van data? Dezelfde fundamentele container-orchestratie is vereist voor cloud-native data warehouses om elasticiteit en implementatieflexibiliteit te bieden over publieke en private clouds, netwerkrand, hybride en volledig gedistribueerde clouds.

Cloud-native herarchitectuur voor schaalbare webapplicaties is gangbaar, maar databases zijn meestal gewoon 'lifted-and-shifted' in de cloud-native wereld. Een database in een container gooien stelt het in staat om in moderne infrastructuur te draaien, maar het biedt geen ervaring die alle voordelen van de cloud demonstreert. De software is grotendeels onwetend van het feit dat het in een containeromgeving draait, en operaties zoals het beheren van elastische clusters moeten onhandig van buiten de database handmatig worden afgehandeld met Operators en het hacken van Helm-charts. Functies zoals het toestaan van meerdere, elastische on-demand compute clusters die dezelfde onderliggende data in object storage delen, zijn vaak niet beschikbaar. Gebruikers die zakelijke waarde willen halen uit een elastische, cloud-gebaseerde data warehouse, willen niet weten over Helm charts, pods, nodes of configuratiebestanden. Ze willen gewoon data warehouses inrichten, elastische clusters beheren en inzichten uit hun data halen.

Het bieden van een SQL-interface over Kubernetes om meerdere, elastische clusters op aanvraag in te richten en de Kubernetes-complexiteit voor DBAs en eindgebruikers te verbergen, is het antwoord.

Op deze manier kunnen verschillende gebruikers toegewezen worden om workloads op verschillende compute clusters uit te voeren, en het gebruikte compute cluster kan tijdens runtime via SQL worden gewijzigd, onderworpen aan machtigingen. Clusters kunnen geconfigureerd worden om na een idle-periode automatisch te schorsen en weer op te starten op aanvraag. Bijvoorbeeld, een apart compute cluster kan worden aangemaakt om ETL-processen uit te voeren wanneer nodig, één voor ad-hoc business intelligence (BI) en meerdere data science clusters. Compute clusters kunnen online worden uitgebreid tijdens piekperiodes of uitgezet tijdens rustige periodes om geld te besparen. Clusters kunnen worden aangemaakt om dagelijkse, wekelijkse of maandelijkse batch-rapportagetaken uit te voeren die alleen tijdens die periodes actief zijn. Zowel de grootte van de nodes in het compute cluster als het aantal nodes zijn in dit model controleerbaar, en limieten op resourceverbruik kunnen op instantieniveau worden vastgelegd voor voorspelbaarheid. Op dezelfde manier is het mogelijk om een laagkost replicatiesysteem in te richten dat replicatieverkeer ontvangt van een primaire data warehouse-instantie, wat vervolgens op aanvraag kan worden opgeschaald wanneer de replica gebruikt moet worden.

Deze elasticiteit wordt niet alleen geïmplementeerd door diep te integreren met Kubernetes, maar door SQL zelf te gebruiken als de 'gebruikersinterface' voor het creëren, schorsen, hervatten en beheren van clusters in plaats van ontwikkelaarstools. Kubernetes is de autoritatieve bron van waarheid voor de staat van alle clusters. Systeemweergaven die de staat van de clusters tonen, halen hun data op uit Kubernetes via de API's. Wanneer clusterbeheer SQL-statements worden ingevoerd, bereikt de cloud-native data warehouse Kubernetes om de gewenste staat van een instantie te wijzigen; Kubernetes implementeert vervolgens de benodigde wijzigingen. Als een node in het cluster ongezond wordt, brengt Kubernetes een vervanger online.

Dit vertegenwoordigt een unieke, inside-out relatie met Kubernetes: In plaats van Kubernetes de 'gebruikersinterface' te zijn voor het sturen van de staat van het cluster, wordt de database zelf, die door Kubernetes beheerd wordt, de gebruikersinterface. Deze architectuur creëert een symbiotische relatie die een unieke, volledig gerealiseerde cloud-ervaring levert. De kracht en cross-platform flexibiliteit van Kubernetes wordt beschikbaar voor een data warehouse, volledig gedreven door SQL.

Naarmate meer data wordt gegenereerd en meer use cases worden geïmplementeerd, is het gemakkelijk voor ondernemingen in een vicieuze cyclus te geraken waar hun ecosysteem steeds meer verstrikt raakt in een bepaalde cloud. Systemische risico's kunnen ontstaan in die enkele cloud die te veel blootstelling geeft voor kritieke IT-infrastructuur in zwaar gereguleerde sectoren zoals financiële diensten en verzekeringen. Architectuur met Kubernetes is niet het enige kernconcept dat een volledig gerealiseerde cloud-native data warehouse tot leven wekt. Het is niet het enige architecturale component afgestemd op het patroon van de gedistribueerde data cloud. Maar het is het onmisbare centrumstuk dat data-analyse uitzonderlijk flexibel maakt, overal draaiend op het punt van zakelijke behoefte - en dat op schaal en met hoge gelijktijdigheid, prestaties, efficiëntie en beschikbaarheid. Het resultaat is dat duizenden gebruikers in elk gegeven bedrijf, over verschillende bedrijfstakken en geografische regio's heen, extreem snelle beslissingen kunnen nemen en waarde genereren uit analyses in beweging in near real-time.