Datastromen kruisen: van Ghostbusters tot geavanceerde analytics

Datastromen benutten – zowel batch als realtime events samenvoegen – stelt datawetenschappers en analisten in staat om geavanceerde problemen aan te pakken.

Individuele stromen leveren data gerelateerd aan een bepaalde dimensie – de prijs van een aandeel, de order van een klant, de metriek van een apparaat. Analytics en applicaties kunnen gediend worden door een enkele datasstroom, maar de toepassingen zijn smal en lokaal.

Stromen kruisen onthult grotere mogelijkheden, gevuld met historie, context en gerelateerde signalen. Toen onze Ghostbusters-helden (Venkman en de bende) de uitdaging aan mochten gaan (en Mr. Stay Puft versloegen), bundelden ze krachten – en stromen! Het geheel was groter dan de som der delen.

In onze gemeenschap worden datawetenschappers, analisten en ontwikkelaars op dezelfde manier opgeroepen tot actie. Datastromen benutten – zowel batch als realtime events samenvoegen – geeft u de macht om geavanceerde problemen op te lossen. En, net als bij Venkman, soms heb je anderen nodig die hun uitrusting meenemen en helpen. Hier zijn vier vitale componenten om het kruisen van stromen succesvol te maken:

1) Data, use cases en mensen samenbrengen.

Versnellen van innovatie, maximaliseren van efficiëntie en flexibiliteit bieden zijn gevestigde prioriteiten voor geavanceerde datasystemen. Een flinke, evolutieve software-ruggenmerg realiseert deze doelen. Open-source kerncomponenten bieden de langetermijnagiliteit en interoperabiliteit die cruciaal zijn voor succes.

Tools evolueren, en soms moet je die nieuwe ghost trap gebruiken.

2) Uw data stack toekomstbestendig maken met open-source formaten.

Dataportabiliteit is lang een heilige eis geweest voor enterprise data teams. Muurtjes creëren toekomstschuld, en vendor lock-in heeft een onuitgesproken langetermijnkost, vaak betaald in business drag. Sla data op met open formaten.

CSV en JSON zijn al jaren groot, met Avro, Protobuffs, Parquet, Orc en anderen die recent aan populariteit winnen. Ze hebben elk hun redenen te bestaan, maar elk is gegrondvest op de levering van gestructureerde data aan een overvloed aan onafhankelijke systemen, agnostisch en onwetend van de computerwetenschap downstream.

Naarmate de omvang van data is geschaald en de gerelateerde financiële en latentiekosten van data verplaatsen samengesteld zijn, omvat het concept van open data nu ook in-memory formaten, niet alleen de soort die op schijf persisteert. Het is nu vaak onacceptabel om te vergen dat data gekopieerd, verplaatst, geserialiseerd of op welke manier dan ook vertaald wordt. In het bijzonder profiteert de significante community van Apache Arrow van de mogelijkheid om in-memory data te serveren aan een reeks data-verwerkingsbibliotheken in veel talen met minimale overhead, zero-copy reads en snelle toegang op schaal.

Maar laten we onthouden, in Ghostbusters was de data slechts het begin van het avontuur.

3) Het samenvoegen van realtime en statische data een fundamentele eis maken.

Een moderne data-engine moet data van diverse bronnen samenbrengen. De jargon van warehouse, lake en de centaur-achtige lakehouse zijn nu gangbare beelden. De groeiende populariteit van event streams is echter een niet-zolang-stille kanarie die suggereert dat statische data niet langer het hele verhaal is.

Data verandert. Moderne workloads leven in een toestand van flux. Realtime data telt.

Data-engines en verwerkingsbibliotheken moeten gearchitecteerd zijn om realtime en statische data workloads aan te pakken en vloeiend ertussen te bewegen. "Continuous intelligence" is een trendy term voor systemen die de context van historie combineren met de event-signalen van het moment. Moderne datasystemen zouden gebouwd moeten zijn om realtime data, event streams en andere updates als first-class competentie te verwerken. Dit moeten kernsterktes zijn, geen add-ons, geen nagedachten.

Immers, zoals we in Ghostbusters leerden, zijn Gatekeepers en Key Masters veel minder krachtig totdat ze samengebracht worden.

4) Altijd de gebruiker eerste zetten.

Tegenwoordige data-gebruikers hebben diverse vaardigheden, tools, workflows en prioriteiten. Een team verenigen rond een gedeeld platform dient het individu terwijl het het team energiseert. Datasystemen die de efficiëntie van individuen maximaliseren en samenwerking bevorderen, drijven bedrijfswaarde.

Open data software wijst de weg. De intrigerende mix van samenwerking en concurrentie in open projecten levert een ongekend tempo van vooruitgang en uitvinding. Georganiseerd om interoperabiliteit te bevorderen, belooft community-ontwikkeling verbeteringen, integraties en user experience upgrades. Populaire paden worden gegoten. Dergelijke systemen maken gebruikers een leger van één terwijl ze de codependente werkproducten ondersteunen die vereist zijn voor elk enigszins complexe use case.

Immers, één proton pack is krachtig, maar vier die samenwerken is onoverwinnelijk.

Ik ben niet bang voor geesten.