Of het nu gaat om Ghostbusting of het analyseren van gegevens:Cross the Streams

Individuele streams leveren gegevens met betrekking tot een bepaalde dimensie:de prijs van een aandeel, de bestelling van een klant, de metriek van een apparaat. Analytics en applicaties kunnen worden bediend door een enkele gegevensstroom, maar het gebruik is beperkt en lokaal.

Het kruisen van streams onthult grotere mogelijkheden, gevuld met geschiedenis, context en gerelateerde signalen. Toen onze Ghostbuster-helden (Venkman en de bende) de uitdaging aan moesten gaan (en Mr. Stay Puft moesten verslaan), bundelden ze hun krachten - en streamden! Het geheel was meer dan de som der delen.

In onze community worden datawetenschappers, analisten en ontwikkelaars op dezelfde manier tot actie opgeroepen. Door gebruik te maken van gegevensstromen — deel te nemen aan zowel batchgebeurtenissen als realtime-gebeurtenissen — kunt u geavanceerde problemen aanpakken. En, net als bij Venkman, heb je soms anderen nodig om hun spullen mee te nemen en te helpen. Hier zijn vier essentiële componenten om het oversteken van stromen succesvol te maken:

1) Breng gegevens, gebruiksscenario's en mensen samen.

Het versnellen van innovatie, het maximaliseren van de efficiëntie en het bieden van flexibiliteit zijn vaste prioriteiten voor geavanceerde datasystemen. Een wendbare, evoluerende software-backbone realiseert deze doelen. Open-source kerncomponenten bieden de flexibiliteit en interoperabiliteit op de lange termijn die essentieel zijn voor succes.

Gereedschappen evolueren en soms moet je die nieuwe spookval gebruiken.

2) Maak uw datastack toekomstbestendig met open-sourceformaten.

Gegevensportabiliteit is lange tijd een heilige vereiste geweest voor datateams van ondernemingen. Ommuurde tuinen creëren toekomstige schulden, en vendor lock-in heeft onuitgesproken langetermijnkosten, die vaak worden betaald in zakelijke belemmeringen. Gegevens opslaan met open formaten.

CSV en JSON zijn al jaren groot, met Avro, Protobuffs, Parquet, Orc en anderen die recentelijk aan populariteit winnen. Ze hebben respectieve redenen om te bestaan, maar elk is gebaseerd op de levering van gestructureerde gegevens aan een overvloed aan onafhankelijke systemen, onwetend van en zich niet bewust van de computerwetenschap stroomafwaarts.

Naarmate de omvang van de gegevens is toegenomen en de bijbehorende financiële en latentiekosten van het verplaatsen van gegevens zijn toegenomen, omvat het concept van open gegevens nu in-memory formaten, niet alleen het soort dat op schijf bleef bestaan. Het is nu vaak onaanvaardbaar om te eisen dat gegevens op enigerlei wijze worden gekopieerd, verplaatst, geserialiseerd of vertaald. Met name de aanzienlijke community van Apache Arrow profiteert van de mogelijkheid om in-memory data te leveren aan een reeks dataverwerkingsbibliotheken in vele talen met minimale overhead, nulkopie lezen en snelle toegang op grote schaal.

Maar laten we niet vergeten, in Ghostbusters waren de gegevens nog maar het begin van het avontuur.

3) Maak van het samenvoegen van realtime en statische gegevens een fundamentele vereiste.

Een moderne data-engine moet data uit verschillende bronnen samenbrengen. Het jargon van pakhuis, meer en het centaurachtige meerhuis zijn nu gangbare beelden. De groeiende populariteit van evenementstreams is echter een niet-zo-stille kanarie die suggereert dat statische gegevens niet langer het hele verhaal zijn.

Gegevens veranderen. Moderne workloads zijn voortdurend in beweging. Realtime gegevens zijn belangrijk.

Data-engines en verwerkingsbibliotheken moeten zo zijn ontworpen dat ze vlot kunnen schakelen tussen realtime en statische gegevensworkloads. "Continue intelligentie" is een trendy uitdrukking voor systemen die de context van de geschiedenis combineren met de gebeurtenissignalen van het moment. Moderne datasystemen moeten worden gebouwd om realtime gegevens, gebeurtenisstromen en andere updates te verwerken als een eersteklas competentie. Dit moeten kernsterkten zijn, geen add-ons, geen bijzaken.

Zoals we in Ghostbusters hebben geleerd, zijn Gatekeepers en Key Masters immers een stuk minder krachtig totdat ze worden samengevoegd.

4) Zet ​​de gebruiker altijd op de eerste plaats.

De gegevensgebruikers van vandaag hebben een verscheidenheid aan vaardigheden, tools, workflows en prioriteiten. Het samensmelten van een team rond een gedeeld platform dient het individu en geeft het team energie. Gegevenssystemen die de efficiëntie van individuen maximaliseren en samenwerking bevorderen, vergroten de bedrijfswaarde.

Open data-software verlicht de weg. De intrigerende mix van samenwerking en competitie in open projecten zorgt voor een ongeëvenaard tempo van vooruitgang en vindingrijkheid. Georganiseerd om interoperabiliteit aan te moedigen, belooft gemeenschapsontwikkeling verbeteringen, integraties en upgrades van de gebruikerservaring. Populaire paden worden verharde wegen. Dergelijke systemen maken van gebruikers een leger van één, terwijl ze het codependente werkproduct ondersteunen dat nodig is voor elke zelfs matig complexe use-case.

Eén protonenpakket is immers krachtig, maar vier die samenwerken is onoverwinnelijk.

Ik ben niet bang voor geen geest.