Derde-generatie streamverwerking: IoT-data omzetten in realtime-actie

Kelly Herrell van Hazelcast

In de pre-digitale tijd, benutten IT-teams een reeks data-management-tools – datawarehouses, analytische platforms, en diverse databasesystemen – om informatie vast te leggen en te bewaren voor toekomstige analyse.

Vandaag wordt data gegenereerd en gestreamd door IoT-apparaten met een ongekende snelheid. De "Things" in IoT – sensoren, mobiele apps, verbonden voertuigen – creëren een explosief volume aan informatie. Voeg het netwerkeffect toe, waar waarde schaalt met het aantal verbonden gebruikers, en het is duidelijk waarom IDC het IoT-marktd projecteert om $745 miljard (€665 miljard) volgend jaar te bereiken en $1 biljoen (€0,89 biljoen) te overschrijden tegen 2022.

In deze megatrend maakt de traditionele nadruk op historische data plaats voor de temporele waarde van streaming data. In het streaming-paradigma is waarde direct gebonden aan immediateiteit voor twee redenen:

• Verschil: Net als watermoleculen die door een slang passeren, is elk snapshot van data die door het netwerk stroomt uniek.
• Vergankelijkheid: De kans om op inzichten te handelen verdampt vaak kort na datageneratie.

Deze concepten betekenen dat plotselinge veranderingen gedetecteerd in streams direct actie vereisen – of het nu een realtime gezichtsherkenningsalert is of een boorsensor die abnormale trillingen detecteert die tot catastrofale storing kunnen leiden als niet direct aangepakt.

In de huidige snelle wereld versnellen IoT en streaming data de veranderingssnelheid, wat herschikt hoe we informatie verwerken. Streamverwerking zelf evolueert snel.

Twee generaties, dezelfde problemen

De eerste generatie streamverwerking steunde zwaar op batchverwerking binnen complexe Hadoop-gebaseerde architecturen. Data werd verzameld, opgeslagen, en pas na een vertraging in de verwerkingsengine gestreamd. De combinatie van complexiteit en latentie maakte deze benadering grotendeels ontoereikend.

De tweede generatie introduceerde micro-batches, wat batchgroottes verkleinde om verwerkingstijd te reduceren. Echter, de onderliggende complexiteit bleef, en de vertraging in het opzetten van elke micro-batch betekende nog steeds dat veranderingen pas geïdentificeerd werden nadat ze historisch waren geworden.

Derde-generatie streamverwerking

De uitdaging voor IT-organisaties is duidelijk: hoe kunnen we streaming data in realtime ingesten en verwerken, ruwe data omzetten in actionable insight "nu" zonder de overhead van batch-georiënteerde systemen? Het antwoord ligt in software die lichtgewicht is, niet batch-gecentreerd, en klein genoeg om dicht bij – of zelfs ingesloten in – de databron te draaien.

Eerste- en tweede-generatie engines vereisen meerdere componenten, wat resulteert in een footprint te groot voor de meeste edge- en IoT-omgevingen. Een lichtgewicht engine kan direct bij de bron geïmplementeerd worden, wat de noodzaak elimineert om de hele stream door het netwerk te sturen voor verwerking. Deze nabijheid reduceert latentie dramatisch en adressert de vergankelijkheidsuitdaging.

Derde-generatie streamverwerking kan live, ruwe data op schaal hanteren, wat instant inzichten levert en acties mogelijk maakt die kapitaliseren op de vluchtige waarde van realtime-informatie.

Streaming in de praktijk

Een boortoren is een quintessentieel symbool van de energiesector, doch de operatiekosten zijn hoog en elke downtime kan de bottom line zwaar beïnvloeden. Preventieve inzichten kunnen verliezen dramatisch reduceren.

SigmaStream specialiseert zich in hoge-frequentie datastromen gegenereerd tijdens boren. Hun torens zijn uitgerust met dozijns sensoren die minuut trillingen vastleggen. Het volume kan 60 tot 70 hoge-frequentie kanalen bereiken die de streamverwerkingssysteem binnengaan.

Door deze data in realtime te verwerken, stelt SigmaStream operators in staat om direct actie te ondernemen – boorparameters on-the-fly aanpassen – om storingen en downtime te voorkomen. Gekoppeld met een derde-generatie streaming engine en de juiste analytics-tools, kunnen operators bijna onwaarneembare trillingen monitoren. Het resultaat: klanten hebben miljoenen dollars bespaard en on-site tijd met tot 20% gereduceerd.

In de digitale leeftijd is latentie de nieuwe downtime. Streamverwerking is de logische volgende stap voor organisaties die informatie sneller moeten ingesten, snellere acties mogelijk maken, en voldoen aan de groeiende vraag naar realtime-data. Door streamverwerking te mainstreamen, kunnen enterprises gedijen in een wereld gedomineerd door ultra-hoge-prestatie applicaties en tijdsgevoelige informatie leveren die stijgende verwachtingen vervullen.

De auteur is Kelly Herrell, CEO van Hazelcast