Waarom het backhaulen van continue gegevens naar de cloud meer kost dan u denkt

In sectoren die steeds meer worden gedreven door realtime besluitvorming, zoals productie, transport, telecom, openbare veiligheid en meer, worden gegevens niet langer in incidentele batches gecreëerd. Het komt voortdurend en op grote schaal binnen via sensoren, machines, mobiele middelen en digitale toepassingen. Terwijl het centraliseren van die data in een cloud of datacenter voor analyse ooit efficiënt leek, hebben het volume, de snelheid en de kriticiteit van de hedendaagse datastromen ernstige beperkingen blootgelegd bij de traditionele backhaul-first-aanpak.

Organisaties die routinematig met dergelijke datastromen omgaan en de data willen gebruiken voor realtime inzichten, hebben de analyse van die data al jaren naar de edge verplaatst, waar deze worden gecreëerd. Naarmate de datavolumes en de snelheid waarmee data worden gegenereerd toenemen, voorzien veel organisaties hun edge-systemen steeds vaker van geavanceerde intelligentie om adaptief te kunnen reageren op de real-time en bijna-real-time inzichten die hun analyses opleveren.

Zie ook: Beyond Latency:de volgende fase van Adaptive Edge Intelligence

De beperkingen van het backhaulen van gegevens

Het backhaulen van data naar gecentraliseerde faciliteiten heeft al tientallen jaren praktische toepassingen, toen de datavolumes en de snelheid waarmee data werden gegenereerd bescheiden waren. Gegevens zouden worden opgeslagen en geanalyseerd voor onmiddellijke actie of om historische trends te begrijpen.

Dat model werkt niet langer in sectoren met grote hoeveelheden continue streaminggegevens. Sommige getroffen sectoren zijn onder meer:

• Financiële dienstverleners proberen in te spelen op eindeloze stromen transactiegegevens.
• Productiebedrijven die proberen inzicht te krijgen in IoT- en andere sensorgegevens van apparatuur op productielijnen.
• Online retailers proberen het moment te grijpen en relevante artikelen op hun website aan klanten te presenteren.
• Autonome voertuigen die videostreams proberen te interpreteren om obstakels op de weg te vermijden en de verkeersregels te gehoorzamen.

In deze en andere gevallen is een van de meest directe uitdagingen bij het backhaulen van gegevens netwerkcongestie . Hoogfrequente gegevensbronnen zoals IoT-sensoren, HD-videofeeds, autonome systemen of industriële machines kunnen gigabytes of zelfs terabytes aan gegevens per uur produceren. Pogingen om dit naar een centrale locatie te leiden, belasten de beschikbare bandbreedte, verhogen de kosten en verminderen de algehele netwerkprestaties. Bandbreedte-upgrades helpen, maar schalen slecht en leiden tot hogere kosten.

Dan is er latentie , de stille moordenaar van realtime responsiviteit. Wanneer onbewerkte gegevens lange afstanden moeten afleggen om te worden verwerkt, kan de retourvertraging ervoor zorgen dat inzichten verouderd raken tegen de tijd dat analysesystemen erop ingrijpen. In veiligheidskritische of tijdgevoelige scenario's, zoals foutdetectie in nutsvoorzieningen, kwaliteitscontrole in productielijnen of voorspellend onderhoud van transportvloten, zijn milliseconden van belang. Een gecentraliseerde verwerkingsarchitectuur kan eenvoudigweg geen deterministische prestaties garanderen.

Een ander vaak over het hoofd gezien probleem is kosteninefficiëntie . Cloudopslag, kosten voor gegevensoverdracht en computerbronnen worden duur als grote datasets voortdurend worden verplaatst. Veel organisaties merken dat ze betalen voor het opslaan en analyseren van gegevens die overbodig, van lage waarde of irrelevant zijn. Studies tonen zelfs routinematig aan dat het merendeel van de ruwe sensorgegevens nooit wordt gebruikt, maar dat er nog steeds volledige transport- en opslagkosten aan verbonden zijn als ze worden teruggehaald.

Beveiligings- en privacyrisico's groeien ook naarmate het datavolume toeneemt. Het verplaatsen van ongefilterde gegevens over WAN-netwerken vergroot het aanvalsoppervlak en vereist strenge controles op het gebied van versleuteling, monitoring en compliance. Gevoelige gegevens, zoals locatie-informatie, operationele telemetrie of klantgebruikspatronen, kunnen gevolgen voor de regelgeving hebben wanneer ze over regio's of cloudgrenzen heen worden getransporteerd. Voor sommige sectoren alleen al maakt dit gecentraliseerde backhauling onpraktisch.

Ten slotte beperken gecentraliseerde architecturen de veerkracht . Als de connectiviteit verloren gaat of de prestaties afnemen, kunnen systemen die voor analyse afhankelijk zijn van de cloud er mogelijk niet in slagen tijdig beslissingen te nemen. Dit is onaanvaardbaar in randomgevingen zoals afgelegen mijnbouwactiviteiten, offshore energieplatforms, slimme netwerken of transportsystemen die de werking niet kunnen onderbreken totdat het netwerk is hersteld.

Een nadere blik op problemen met het backhaulen van gegevens

Kortom, naarmate real-time systemen zich uitbreiden, moeten analyses en beslissingen dichter bij de bron van de gebeurtenis komen, de status behouden en worden uitgevoerd met minimale latentie en volledige consistentie.

Een recent Volt Active Data-blog plaatste de problemen met het backhaulen van gegevens in perspectief en besprak hoe adaptieve edge-intelligentiesystemen deze problemen elimineren.

De blog merkte op dat, hoewel gecentraliseerde gegevensverwerking enig beheergemak biedt, dit aanzienlijke verborgen kosten met zich meebrengt. Deze omvatten hoge bandbreedte- en opslagkosten voor het transporteren en huisvesten van grote datasets, een verhoogd energieverbruik en de daarmee samenhangende CO2-voetafdruk, uitdagingen op het gebied van netwerklatentie en betrouwbaarheid (vooral voor realtime applicaties) en een groter risico op single points of Failure wanneer alle verwerking afhankelijk is van een gecentraliseerde infrastructuur.

Om deze problemen te overwinnen, verschuiven organisaties intelligentie naar de edge:gegevens verwerken en filteren dichter bij de bron, zodat alleen betekenisvolle, beperkte informatie stroomopwaarts wordt verzonden. Een dergelijk edge-native model verlaagt de transmissie- en opslagkosten, vermindert de latentie dramatisch, verbetert de operationele veerkracht en maakt groenere, duurzamere architecturen mogelijk.

Een laatste woord

Naarmate organisaties meer automatisering, AI en autonome operaties aan de edge omarmen, wordt het model om alles naar een datacenter te verzenden steeds onhoudbaarder. De toekomst ligt in hybride en edge-native architecturen waarbij gegevens lokaal worden verwerkt, aan de bron worden verkleind of verrijkt, en alleen hoogwaardige output of aggregaten stroomopwaarts worden verzonden.