Zijn IoT en cloud computing de toekomst van data?

Moeilijkheden bij het verwerken van gegevens

Met een groot aantal IoT-apparaten komen grote hoeveelheden en soorten gegevens. IoT-apparaten kunnen bijvoorbeeld allerlei soorten gegevens leveren, zoals:klantverkopen, gereden kilometers, GPS-coördinaten, vochtigheid, aantal aanwezige personen, voertuigsnelheid, temperatuur en luchtkwaliteit. Veel bedrijven hebben moeite met het omgaan met de complexiteit en de enorme hoeveelheid data die door IoT wordt gecreëerd en merken dat hun datapijplijnen inefficiënt worden. Voor app-gestuurde services die afhankelijk zijn van realtime streaming, is dit een belangrijk probleem.

Hiertoe zijn gepersonaliseerde, realtime streaming-applicaties zoals Kafka, Spark, Kudu, Flink of HBase nodig om de zware big data-eisen van moderne clouddiensten te beheren. Dat gezegd hebbende, vereist het analyseren van streaming verkeersgegevens en het genereren van statistische functies complexe en resource-intensieve monitoringmethoden.

Hoewel analisten meerdere detectiemethoden tegelijkertijd kunnen toepassen op de binnenkomende gegevens, leidt dit onvermijdelijk tot complexiteit en prestatie-uitdagingen. Dit is met name het geval wanneer toepassingen zich over meerdere systemen uitstrekken (bijv. interactie met Spark voor berekening, met YARN voor toewijzing en planning van bronnen, met HDFS of S3 voor gegevenstoegang of met Kafka of Flink voor streaming). Deze implementaties kunnen nog complexer worden als ze onafhankelijke, door de gebruiker gedefinieerde programma's bevatten, zoals herhaalde gegevensvoorverwerking of het genereren van functies die in meerdere applicaties gebruikelijk zijn.

Explosieve IoT-groei

Om de cloudinfrastructuur te creëren die nodig is om de explosieve groei van IoT-apparaten te ondersteunen, voldoen de huidige tools en processen voor gegevensbeheer niet aan de taak. Om de uitdaging van uitgebreide IoT-apparaten het hoofd te bieden, beginnen veel bedrijven de noodzaak van AI- of ML-integraties in te zien.

Deze integraties vergroten de mogelijkheden van datateams om al deze data te begrijpen door intelligente databewerkingen mogelijk te maken die de last van het handmatig sorteren van data verminderen. Dit helpt data sneller naar de juiste plaats te worden gerouteerd, gelijke tred te houden met zakelijke behoeften en het realtime-element van hun dataops te ondersteunen.

Vaak kan in deze scenario's de streamingtoepassing achterblijven bij het realtime verwerken van gegevens en kan het bepalen van de hoofdoorzaak een omslachtige uitdaging zijn voor zo'n complex systeem. Als zodanig is het veel waarschijnlijker dat een data-implementatie die afhankelijk is van machine learning en kunstmatige intelligentie (AI) de prestaties, voorspelbaarheid en betrouwbaarheid biedt die nodig zijn in vergelijking met alternatieven.

Om de efficiënte en continue verzameling van gegevens van IoT-apparaten mogelijk te maken, zijn algoritmen voor machine learning van essentieel belang gebleken om de uitvoering van applicaties te onderzoeken, de oorzaak van mogelijke storingen te identificeren en aanbevelingen te genereren voor het verbeteren van de prestaties en het gebruik van bronnen. Een ander belangrijk voordeel is dat de implementatie van dergelijke processen organisaties in staat stelt te profiteren van lagere kosten en een grotere betrouwbaarheid.

Overweeg elk gebruik

Als zodanig is het van cruciaal belang om elke individuele use-case te overwegen en te zien op welke specifieke IoT-uitdaging het een antwoord biedt. Door eerst de omgeving te begrijpen en de problemen die deze voor hun respectievelijke organisatie met zich meebrengt, kunnen IT-teams een snellere weg banen naar het implementeren van de nodige oplossingen. Of dat nu machine learning of AI is, het leveren van een op IoT gebaseerde implementatie is afhankelijk van het uitbreiden van het datateam met automatisering om de complexiteit die ontstaat te beheren.

De auteur is Shivnath Babu, chief technology officer, Unravel Data.