IoT data ETL-uitdagingen overwinnen om ROI te verhogen

Organisaties kunnen IoT-data optimaliseren, snel en kosteneffectief de zakelijke waarde ervan afleiden door expertise te ontwikkelen in ETL (extract, transfer, load) technologieën.

Het potentieel van IoT is nooit groter geweest. Met investeringen in IoT-ingeschakelde apparaten verwacht te verdubbelen bij 2021 en kansen opstijgend in de data- en analytics-segmenten, is de hoofdtaken de uitdagingen te overwinnen en de kosten rond IoT-dataprojecten te temmen.

Organisaties kunnen IoT-data optimaliseren, snel en kosteneffectief de zakelijke waarde ervan afleiden door expertise te ontwikkelen in ETL (extract, transfer, load) technologieën, zoals stream processing en data lakes.

Zie ook: 4 Principes om een pristine data lake mogelijk te maken

Bij veel organisaties, hoewel, kan dit leiden tot IT-knelpunten, lange projectvertragingen, en data science wordt uitgesteld. Resultaat: IoT-projecten – waarin predictieve analytics data een kritieke rol bedoeld is te spelen in het verbeteren van operationele efficiëntie en het stimuleren van innovatie – nog steeds niet de proof-of-concept-drempel overschreden en definitief geen ROI kunnen demonstreren.

De ETL-uitdagingen begrijpen die IoT met zich meebrengt

Het volgende diagram helpt je het probleem beter te begrijpen:

De databron is links – onmetbare met sensoren gevulde apparaten, van eenvoudige antennes tot gecompliceerde autonome voertuigen die IoT-data genereren en ze versturen als een ononderbroken stroom van semi-gestructureerde data over het web.

Aan de rechterkant zijn de doelen die de consumptie van gezegde data moet bereiken, met de resulterende analytische producten aan het projecteinde, inclusief:

• Business intelligence om zichtbaarheid te krijgen in productgebruikstrends en -patronen
• Operationele monitoring om uitvallen en inactieve apparaten in realtime te zien
• Anomaliedetectie om proactieve alerts te krijgen op pieken of steile dalingen in de data
• Ingesloten analytics om klanten in staat te stellen hun eigen gebruikdata te zien en te begrijpen
• Data science om de voordelen van geavanceerde analytics en machine learning in predictief onderhoud, route-optimalisatie of AI-ontwikkeling te genieten

Om deze doelen te bereiken, moet je eerst data transformeren van zijn ruwe streaming-modus naar analytics-klaar tabellen die gequeryd kunnen worden met SQL en andere analytics-tools.

Het ETL-proces is vaak het moeilijkst-te-begrijpen segment van elk analytics-project omdat IoT-data een unieke set kwaliteiten bevat die niet altijd in sync zijn met de gebruikelijke relationele databases, ETL, en BI-tools. Bijvoorbeeld:

• IoT-data is streaming data, continu gegenereerd in kleine bestanden die accumuleren om massale, uitgestrekte datasets te worden. Deze zijn heel verschillend van traditionele tabulaire data en vereisen complexere ETL om joins, aggregaties en data-verrijking uit te voeren.
• IoT-data moet nu opgeslagen, later geanalyseerd worden. In tegenstelling tot typische datasets, betekent de schiere hoeveelheid data gecreëerd door IoT-apparaten dat het een plek moet hebben om te zitten voordat het geanalyseerd kan worden – een cloud of on-premise data lake.
• IoT-data presenteert ongeordende gebeurtenissen door meerdere apparaten die in en uit internetconnectiviteitsgebieden kunnen bewegen. Dit betekent dat logs servers op verschillende tijden kunnen bereiken en niet altijd in de "juiste" volgorde.
• IoT-data vereist vaak low-latency toegang. Operationeel, moet je misschien anomalieën of specifieke apparaten in real of near-real time identificeren, dus je kunt je de latenties veroorzaakt door batchverwerking niet permitteren.

Moet je open-source frameworks gebruiken om een data lake te creëren?

Om een enterprise dataplatform voor data-analytics te bouwen, gebruiken veel organisaties deze veelvoorkomende benadering: een data lake creëren met open-source stream processing frameworks als bouwstenen plus tijdreeksdatabases zoals Apache Spark/Hadoop, Apache Flink, InfluxDB, en anderen.

Kan deze toolset het werk doen? Zeker, maar het correct doen kan overweldigend zijn voor alle behalve de meest data-erfahren bedrijven. Het bouwen van zo'n dataplatform eist de gespecialiseerde vaardigheden van big data engineers en sterke aandacht voor de data-infrastructuur – niet meestal een sterke punt in productie en consumentenelektronica, industrieën die nauw met IoT-data werken. Verwacht late leveringen, steile kosten, en een ton verminkte engineering-uren.

Als uw organisatie hoge prestaties plus een volledige reeks functionaliteiten en use cases wil – operationele rapportage, ad-hoc analytics, en datavoorbereiding voor machine learning – dan adopteer een geschikte oplossing. Een voorbeeld zou zijn om een data lake ETL-platform te gebruiken dat doelgericht gebouwd is om streams om te zetten in analytics-klaar datasets.

De oplossing is niet zo star en complex als Spark/Hadoop dataplatformen. Het is gebouwd met een self-service gebruikersinterface en SQL, niet de intense codering in Java/Scala. Voor analisten, data scientists, productmanagers, en dataproviders in DevOps en data engineering, kan het een echt gebruiksvriendelijk tool zijn dat:

• Self-service biedt voor dataconsumenten zonder te hoeven vertrouwen op IT en data engineering
• ETL-stromen en big data-opslag optimaliseert om infrastructuurkosten te reduceren
• Organisaties in staat stelt, dankzij volledig beheerde service, om te focussen op features in plaats van infrastructuur
• De noodzaak verwijdert om meerdere systemen te onderhouden voor realtime data, ad-hoc analytics en rapportage
• Zorgt ervoor dat de data nooit het AWS-account van de klant verlaat voor totale beveiliging

Je kunt profiteren van IoT-data – het kost gewoon de juiste tools om het nuttig te maken.