Slimme Data: De volgende grens van IoT en Big Data navigeren

Data verzamelen was nooit simpeler. Met een paar klikken kunnen bedrijven aankloppen op de meest geavanceerde cloud-technologieën, klaar om enorme hoeveelheden informatie vast te leggen en op te slaan. Toch was een decennium geleden het schalen van data-verzameling een voorrecht gereserveerd voor grote ondernemingen die duurere servers en gespecialiseerde ingenieurs konden betalen.

Vandaag maakt het Internet of Things (IoT) elk apparaat een datagenerator. In 2020 was een enkel persoon verantwoordelijk voor het produceren van 1,7 MB data elke seconde. Nog indrukwekkender, kan een autonom voertuig 11 TB data in een enkele dag genereren - cijfers die alleen maar gesteld worden te stijgen.

Voor data-wetenschappers is de overvloed aan informatie zowel een zegen als een uitdaging. Wanneer een nieuw deep-learning-model 92% nauwkeurigheid bereikt, is de instinctieve reactie om onvoldoende data te blamen. "Als we meer data verzamelen, zal het model verbeteren," zeggen we vaak, hopend dat kwantiteit alle problemen oplost.

Dit leidt tot een cruciale vraag: Hoeveel data is echt genoeg? En, nog belangrijker, hoeveel data wordt excessief?

In machine-learning-kringen wordt deze zorgen zelden geuit, hoewel Big Data een 40-zettabyte-lijabiliteit kan zijn. Als data de nieuwe olie is, moet het geraffineerd worden; onbeheerde accumulatie bedreigt duurzaamheid en beveiliging.

Misschien is het echte probleem dat Big Data niet het definitive antwoord is voor AI. We moeten heroverwegen wat we verzamelen.

Vroegere digitalisering vereiste zorgvuldige data-selectie door hoge kosten, wat verantwoordelijkheid en kwaliteitsfocus bevorderde. Naarmate opslag en rekenkracht goedkoper werden, klopte kwantiteit kwaliteit, wat data in een commodity veranderde. We vragen ons niet meer of de data die we verzamelen echt waarde toevoegt.

Data veroudert en degradeert. Niet alle informatie is gelijk gecreëerd - honderden selfies hebben heel andere analytische waard dan een uitgebreide medische literatuurdatabase. Het verwerken van verouderde of redundante data verspilt bronnen en kan modellen misleiden.

Hoewel goedkopere opslag en snellere compute geruststellend zijn, houden ze alleen tempo als menselijke expertise mee-evolueert met Moore's Law. Zonder onderscheidend welke data werkelijk beslissingen informeert, riskeren we te verdrinken in ruis in plaats van inzicht te verkrijgen.