IoT Prestaties Boosten met Metadata-gedreven Data Inzichten

Naarmate IoT-data een belangrijker onderdeel wordt van enterprise business operaties, kan de capaciteit om latentie in data analytics en verwerking te verminderen een verschil maken. Het verheft de belofte van real-time naar een nieuw niveau.

Er is veel data aan het bewegen over IoT-netwerken – tot het punt waar het identificeren en lokaliseren van data van materieel belang dingen kan vertragen. Metadata – data over data – is de sleutel tot het datadomein, met name wanneer het gaat om indexeren en identificeren van ongestructureerde data. Net zoals data enterprise functies kan overweldigen, kan metadata dingen nog verder vertragen.

Een nieuwe voorstel, gepresenteerd op de recente IEEE Edge Computing conferentie, biedt een manier om het issue van terabytes metadata die toegewezen worden binnen veel applicatiedomeinen aan te pakken – wat ze "efficiënte en schaalbare metadata" noemen, een term die niet eens nodig zou zijn geweest in de pre-edge, batch era.

De onderzoekers, Bing Zhang van de University of Illinois en Tevfik Kosar van de University at Buffalo, stellen een oplossing voor die metadata sneller en efficiënter over IoT-netwerken verplaatst. Ze bedachten ook een manier om metadata toegang over het netwerk te cachen en te voorspellen, wat potentieel latentie in data toegang en verplaatsing kan verminderen. "We herhaalde ongeveer 20 miljoen metadata toegang operaties van echte audit traces, waarin ons systeem 80% nauwkeurigheid bereikte tijdens prefetch voorspelling en de gemiddelde fetch latentie met 50% verminderde vergeleken met state-of-the-art mechanismen."

Zie ook: Deloitte Rapport Details Omvang van Data Modernisatie Uitdaging

Al is "meer dan 50% van alle I/O operaties te wijten aan metadata-intensieve computing en de verzoeken om bestandsattributen te lezen domineren in alle workloads," stellen Zhang en Kosar. Ze zeggen dat meer agressieve prefetch routines – die data van opslag naar tijdelijk geheugen verplaatsen in anticipatie op toekomstige gebruikersverzoeken – beter kunnen werken met metadata dan met daadwerkelijke data zelf.

De auteurs testten zo'n architectuur, met Yahoo Hadoop grid trace logs van de Yahoo! Webscope dataset, bestaande uit continue dagelijkse metadata operaties van Hadoop name node in 2010. Het systeem bereikte "een 80% voorspellingspercentage op zijn metadata operatie en verminderde de gemiddelde fetch latentie 50% vergeleken met andere state-of-the-art mechanismen," rapporteerden ze. "Dit is vriendelijk voor IoT-netwerk, waar IoT-apparaten met de beperkte computing en opslagcapaciteiten dezelfde gemiddelde fetch latentie kunnen bereiken als de proximiteit edge/fog compute node."

Naarmate IoT-data een belangrijker onderdeel wordt van enterprise business operaties, kan de capaciteit om latentie in data analytics en verwerking te verminderen een verschil maken. Het verheft de belofte van real-time naar een nieuw niveau.