Voorsprong met data over data

Er gaan veel gegevens over IoT-netwerken - tot het punt waarop het identificeren en lokaliseren van gegevens van materieel belang de zaak kan vertragen. Metadata — gegevens over gegevens — zijn de sleutels tot het gegevensrijk, vooral als het gaat om het indexeren en identificeren van ongestructureerde gegevens. Net zoals gegevens bedrijfsfuncties kunnen overweldigen, kunnen metagegevens de zaken nog verder vertragen.

Een nieuw voorstel, gepresenteerd op de recente IEEE Edge Computing-conferentie,
biedt een manier om het probleem aan te pakken dat terabytes aan metadata worden toegewezen binnen veel toepassingsdomeinen - wat zij 'efficiënte en schaalbare metadata' noemen, een term die in het pre-edge, batchtijdperk niet eens nodig zou zijn geweest.

De onderzoekers, Bing Zhang van de Universiteit van Illinois en Tevfik Kosar van de Universiteit van Buffalo, kwamen met een oplossing die metadata op een snellere en efficiëntere manier over IoT-netwerken verplaatst. Ze bedachten ook een manier om de toegang tot metadata over het netwerk te cachen en te voorspellen, wat mogelijk de latentie in gegevenstoegang en -beweging zou kunnen verminderen. "We hebben ongeveer 20 miljoen metadatatoegangsbewerkingen nagespeeld van echte controlesporen, waarbij ons systeem 80% nauwkeurigheid bereikte tijdens prefetch-voorspelling en de gemiddelde ophaallatentie met 50% verminderde in vergelijking met de ultramoderne mechanismen."

Zie ook: Deloitte-rapportdetails Reikwijdte van de uitdaging voor gegevensmodernisering

Nu al is "meer dan 50% van alle I/O-bewerkingen te wijten aan metadata-intensieve"
computergebruik en de verzoeken om bestandskenmerken te lezen domineren in alle workloads”, stellen Zhang en Kosar. Ze zeggen dat agressievere prefetch-routines - die gegevens van opslag naar tijdelijk geheugen verplaatsen in afwachting van aankomende gebruikersverzoeken - beter kunnen werken met metadata dan werkelijke gegevens zelf.

De auteurs hebben een dergelijke architectuur getest, gebruikmakend van Yahoo Hadoop grid trace logs van Yahoo! Webscope-dataset, bestaande uit continue dagelijkse metadatabewerkingen van Hadoop-naamknooppunt in 2010. Het systeem behaalde "een 80% voorspellingspercentage op zijn metadata-operatie en verminderde de gemiddelde ophaallatentie met 50% in vergelijking met andere state-of-the-art mechanismen", zij melden. "Dit is vriendelijk voor het IoT-netwerk, waar IoT-apparaten met de beperkte reken- en opslagmogelijkheden dezelfde gemiddelde ophaallatentie kunnen bereiken als de proximity edge/fog compute node."

Naarmate IoT-gegevens een belangrijker onderdeel worden van de bedrijfsactiviteiten van ondernemingen, kan de mogelijkheid om latentie in gegevensanalyse en -verwerking te verminderen een verschil maken. Het tilt de belofte van realtime naar een nieuw niveau.