Het streamen van gegevens ontsluit nieuwe mogelijkheden in het IoT-tijdperk

In het pre-digitale tijdperk beheersten IT-afdelingen verschillende technologische benaderingen om waarde uit data te halen. Datawarehouses, analytische platforms en verschillende soorten databases vulden datacenters met toegang tot opslagapparaten waar records veilig op schijf werden bewaard vanwege hun historische waarde.

Daarentegen, zegt Kelly Herrell, CEO van Hazelcast , gegevens worden tegenwoordig met een ongekende snelheid gegenereerd en gestreamd door Internet of Things (IoT)-apparaten. De 'dingen' in IoT zijn ontelbaar - sensoren, mobiele apps, verbonden voertuigen, enz. - die op zichzelf al explosief zijn. Voeg daarbij het "netwerkeffect", waarbij de mate van waarde direct gecorreleerd is aan het aantal aangesloten gebruikers, en het is niet moeilijk te begrijpen waarom bedrijven zoals IDC project zal de IoT-markt volgend jaar $ 745 miljard (€ 665 miljard) bereiken en in 2022 de grens van $ 1 biljoen (€ 0,89 biljoen) overschrijden.

Deze megatrend verstoort het paradigma van gegevensverwerking. De historische waarde van opgeslagen data wordt vervangen door de temporele waarde van streaming data. In het paradigma van streaminggegevens is waarde een directe functie van directheid, om twee redenen:

• Verschil :Net zoals de unieke watermoleculen die door een lengte van de slang gaan, op elk moment anders zijn, zo zijn de unieke gegevens die door het netwerk worden gestreamd voor elk tijdvenster.
• Vergankelijkheid :De mogelijkheid om te reageren op inzichten uit streaminggegevens verdwijnt vaak kort nadat de gegevens zijn gegenereerd.

De concepten van verschil en bederfelijkheid zijn van toepassing op dit streaminggegevensparadigma. Plotselinge veranderingen die in datastromen worden gedetecteerd, vereisen onmiddellijke actie, of het nu gaat om een ​​patroon dat wordt geraakt door realtime gezichtsherkenning of om trillingssensoren van booreilanden die plotseling afwijkingen registreren die rampzalig kunnen zijn als er niet onmiddellijk preventieve maatregelen worden genomen.

In het tijdgevoelige tijdperk van vandaag versnellen IoT en streaminggegevens het tempo van verandering in dit nieuwe gegevensparadigma. Streamverwerking zelf verandert snel.

Twee generaties, dezelfde problemen

De eerste generatie stroomverwerking was grotendeels gebaseerd op batchverwerking met behulp van complexe op Hadoop gebaseerde architecturen. Nadat de gegevens waren geladen - wat aanzienlijk was nadat ze waren gegenereerd - werden ze vervolgens als een stroom door de gegevensverwerkingsengine gepusht. De combinatie van complexiteit en vertraging maakte deze methode grotendeels onvoldoende.

De tweede generatie, (nog grotendeels in gebruik), verkleinde de batchgroottes tot "microbatches". De complexiteit van de implementatie is niet veranderd en hoewel kleinere batches minder tijd kosten, is er nog steeds vertraging bij het opzetten van de batch. De tweede generatie herkent verschil maar gaat niet in op bederfelijkheid. Tegen de tijd dat het een verandering in de stream ontdekt, is het al geschiedenis.

Derde generatie streamverwerking

De eerste twee generaties benadrukken de hindernissen waarmee IT-organisaties worden geconfronteerd:Hoe kan streamverwerking eenvoudiger worden geïmplementeerd terwijl de gegevens worden verwerkt op het moment dat deze worden gegenereerd? Het antwoord:software moet worden vereenvoudigd, niet batchgewijs zijn en klein genoeg zijn om extreem dicht bij de streambronnen te worden geplaatst.

De eerste twee generaties van streamverwerking vereisen het installeren en integreren van meerdere componenten, wat resulteert in een te grote footprint voor de meeste edge- en IoT-infrastructuren. Dankzij een lichtgewicht voetafdruk kan de streaming-engine dicht bij of ingebed worden bij de oorsprong van de gegevens worden geïnstalleerd. Door de nabijheid is het niet langer nodig dat de IoT-stroom het netwerk doorkruist voor verwerking, wat resulteert in verminderde latentie en helpt om de uitdaging van bederfelijkheid aan te pakken.

De uitdaging voor IT-organisaties is om streaming gegevensbronnen in realtime op te nemen en te verwerken, en de gegevens nu te verfijnen tot bruikbare informatie. . Vertragingen in batchverwerking verminderen de waarde van streaminggegevens. Streamverwerking van de derde generatie kan latentieproblemen die inherent zijn aan batchverwerking overwinnen door direct op elke schaal aan live, onbewerkte gegevens te werken.

Streaming in de praktijk

Een booreiland is een van de meest herkenbare symbolen van de energie-industrie. De bedrijfskosten van een installatie zijn echter ongelooflijk hoog en elke uitvaltijd tijdens het proces kan een aanzienlijke impact hebben op de bedrijfsresultaten van de operator. Preventieve inzichten bieden nieuwe kansen om die verliezen drastisch te verbeteren.

SigmaStream , dat gespecialiseerd is in hoogfrequente gegevensstromen die tijdens het boorproces worden gegenereerd, is een goed voorbeeld van stroomverwerking die in het veld wordt geïmplementeerd. SigmaStream klantinstallaties zijn uitgerust met een groot aantal sensoren om de kleinste trillingen tijdens het boorproces te detecteren. De gegevens die door deze sensoren worden gegenereerd, kunnen 60 tot 70 kanalen met hoogfrequente gegevens bereiken die het streamverwerkingssysteem binnenkomen.

Door de informatie in realtime te verwerken, stelt SigmaStream operators in staat om deze gegevensstromen uit te voeren en onmiddellijk op de gegevens te reageren om storingen en vertragingen te voorkomen. Een streaming-engine van de derde generatie, gekoppeld aan de juiste tools om de gegevens te verwerken en te analyseren, stelt de operators in staat om bijna onmerkbare trillingen te monitoren door middel van streaminganalyses op de gegevens van de boorinstallatie. Door verfijnde aanpassingen aan te brengen, hebben SigmaStream-klanten miljoenen dollars bespaard en de tijd op locatie met maar liefst 20% verminderd.

In het digitale tijdperk van vandaag is latentie de nieuwe downtime. Streamverwerking is de logische volgende stap voor organisaties die informatie sneller willen verwerken, acties sneller willen mogelijk maken en nieuwe gegevens willen gebruiken met de snelheid waarmee ze binnenkomen. Door streamverwerking naar reguliere applicaties te brengen, kunnen organisaties gedijen in een wereld die wordt gedomineerd door nieuwe soorten ultrasnelle applicaties en informatie leveren met de tijdgevoeligheid om aan de stijgende verwachtingen te voldoen.

De auteur is Kelly Herrell, CEO van Hazelcast