Het belang van realtime gegevensnauwkeurigheid in uw bedrijf

Overweeg realtime gegevensnauwkeurigheid, een kenmerk van gegevenskwaliteit dat verwijst naar correcte waarden en formaten, een must voor een winstgevend en groeiend bedrijf. Bedrijven hebben nauwkeurige realtime gegevens nodig om de toenemende vraag van consumenten aan te kunnen. Een derde van de C-suite executives en financiële professionals is het ermee eens dat ze hun realtime financiële gegevens steeds meer waarderen.

Helaas hebben veel organisaties nog steeds moeite om zakelijke inzichten uit hun realtime gegevens te halen. Bedrijven verzamelen uren aan uren aan streaming datafeeds, maar hebben misschien maar een paar minuten van deze stream nodig om een ​​goede beslissing te nemen.

Zelfs het beslissen hoe de verzamelde hoeveelheden gegevens moeten worden gevalideerd, zorgt voor uitdagingen bij het snel uitzoeken of de ene dataset nauwkeuriger is dan de andere. Doe de verkeerde beslissing en draag bij aan een bedrijf dat $ 14 miljoen verliest.

Gelukkig belooft metadata, data over data, hulp bij het verkrijgen van realtime datanauwkeurigheid. Dit artikel zal de lezer op weg helpen met het gebruik van metadata om realtime gegevensnauwkeurigheid te krijgen.

Metadata gebruiken om realtime gegevensnauwkeurigheid te valideren

Het lijkt misschien contra-intuïtief om te praten over het genereren van meer gegevens om bestaande gegevens nauwkeurig te houden. Maar metadata heeft verschillende superkrachten:

• Als het juist is, bieden metadata context over de informatie die het beschrijft, wat de nauwkeurigheid van de data aantoont. Een computerprogramma kan deze metadata omzetten in een schema of representatie.
• Metadatadefinities bevatten elke combinatie van technische, zakelijke of operationele beschrijvingen van datasets. Dus systemen, processen of mensen kunnen metadata gebruiken om klanten, aankopen, producten, locaties, enz. te karakteriseren,
• Algoritmen kunnen technische metadata gebruiken om een ​​ander proces of een andere persoon te markeren om verdere actie te ondernemen.
• Metadata kan zich om een ​​enorm stuk data heen wikkelen, waardoor die data beter vindbaar worden.

Twee experts, Romero en Calders, hebben deze sterke punten van metadata benut met een aanpak die informatieprofilering wordt genoemd. Ze stellen een raamwerk voor dat metadata toepast om een ​​schema te vormen voor profilering en vervolgens de resultaten in te sluiten met behulp van metadata.

Door deze bevindingen verder uit te werken, kunnen bedrijven hun bedrijfsregels gebruiken om de vorming van metadata van het schema te begeleiden en data te groeperen in pakketten die zijn verpakt in metadata. Deze organisaties zouden een efficiëntere manier hebben om met realtime gegevens om te gaan door algoritmen te gebruiken om gegevenspatronen te zoeken en gegevenssets op te halen die overeenkomen.

Een voorbeeld van realtime gegevensnauwkeurigheid verkennen

Hoe zou het gebruik van metadata voor realtime gegevensnauwkeurigheid er in het echte leven uitzien? Gordon en Shankaranarayanan, van Babson College, geven inzicht.

Stel dat de feed van bedrijf A honderden instant messages heeft die elk uur binnenkomen. Een klant, John Doe, sms't dat hij een fiets wil kopen van bedrijf A. Bedrijf A wil bevestigen dat deze berichten van John Doe zijn en dat hij een fiets wil kopen.

Ten eerste zou een applicatie een John Doe-profiel maken, metadata over John Doe. Stel dat de metadata over John Does waarden hebben op basis van telefoonnummer, het type mobiele telefoon dat wordt gebruikt en de lidmaatschapsstatus bij bedrijf A. Deze John Doe-vertegenwoordiging zou goed zijn als de gegevens in het klantrelatiebeheersysteem van bedrijf A.

Vervolgens neemt een computerprogramma dit John Doe-profiel en vergelijkt het met de tekststreaming in de feed, met bedrijfsregels die bepalen waarnaar in de datastroom moet worden gezocht. Zodra de software gegevens ziet die overeenkomen met John's schema Doe, bundelt het deze samen onder een inhoudsmetagegevensbestand. Dit inhoudmetadatabestand zou kunnen worden doorzocht door mensen die er zeker van zouden zijn dat de sms-berichten van John Doe kwamen (als de kwaliteit van de metadata voldeed aan de zakelijke behoeften).

Ook zou een algoritme een aankoopprofiel samenstellen om de waarschijnlijkheid te bepalen dat John Doe een fiets koopt, zoals hoe Amazon erachter komt welke producten hij zijn klanten kan aanbevelen. Vervolgens kan een algoritme dit aankoopprofiel toepassen en de kans afwegen dat John een fiets wil kopen.

Nauwkeurigheid van metadata kritisch maken

Merk op dat het gebruik van metadata om een ​​schema en batch te maken sterk afhangt van de nauwkeurigheid van de metadata. Anders zou het onmogelijk zijn om realtime gegevensnauwkeurigheid te garanderen.

Als John Doe in het bovenstaande voorbeeld zijn telefoonnummer had gewijzigd en zijn metadata nog steeds het oude telefoonnummer hadden, dan zouden de metadata van John onnauwkeurig zijn. Evenzo zou het metadatabestand met de realtime datasets correct moeten worden gelabeld. Als de metadata met John Doe's tekstbestanden de verkeerde naam van de klant hadden, zou een persoon John's tekstbestand niet vinden.

Dezelfde redenen en processen die bedrijven gebruiken om data te monitoren en op te schonen, om consistent hoge datakwaliteit te leveren, zijn ook van toepassing op de metadata. Metadata die worden gebruikt om realtime te valideren, moeten voldoende nauwkeurig zijn om vertrouwen te hebben in de nauwkeurigheid van realtime gegevens.

Een raamwerk voor metadatabeheer

Zou het dan voldoende zijn om het monitoren en opschonen van metadata te automatiseren? Nee. Het verkrijgen van voldoende metadatakwaliteit om waardevol en toegankelijk te zijn voor het bedrijf, hangt af van een metadatamanagementraamwerk.

De mensen, processen en technologieën van de organisatie vormen dit raamwerk voor metadatabeheer en de bedrijfsregels die het creëren.

Als de ene afdeling bijvoorbeeld zijn klantnamen standaardiseert in het ene systeem en een andere afdeling de klantnamen anders opmaakt in een aparte applicatie, dan heeft die afdeling een wankel metadatamanagementraamwerk. Van welke afdeling haalt de organisatie metadata om te gebruiken?

Voor het ontwikkelen van een raamwerk voor metagegevensbeheer om te zorgen voor adequate realtime gegevensnauwkeurigheid is het volgende vereist:

• Metadatamanagementbeoordelingen over de bestaande structuren en hun impact. Op basis van deze baseline kunnen bedrijven erachter komen welke processen ze moeten veranderen.
• Datastrategie, een plan om data te gebruiken om het bedrijf draaiende en groeiend te houden.
• Datagovernance, een programma dat de toegang tot en de beveiliging van metadata coördineert, om compliant te blijven.
• Collectieve datageletterdheid over het belang en de waarde van de metadata bij het bepalen van de nauwkeurigheid van realtime gegevens. Bovendien moeten werknemers weten hoe ze goede metadata kunnen definiëren.
• Stevige zakelijke vereisten over welke attributen en waarden bepalen wat of wie de metadata beschrijft.

Laatste woorden

In 2020 zagen bedrijven in waarom ze realtime datakwaliteit nodig hadden, terwijl ze wantrouwend waren over het verkrijgen van zakelijke inzichten uit deze data. Hoge datavolumes en datasnelheden stellen bedrijven voor aanzienlijke obstakels om snel te verzekeren dat elk stukje data accuraat is in een tekst- of berichtenstroom.

Door de realtime gegevens te beheren met behulp van een metagegevensschema en bedrijfsregels, krijgt u meer waarde en bespaart u bedrijfsmiddelen door het analyseren van irrelevante gegevens. Door de resultaten op te delen en deze datasets te labelen met behulp van metadata, kunnen nauwkeurige gegevens sneller worden gevonden. Maar het op deze manier gebruiken van metadata vereist nauwkeurige metadata en een adequate metadatabeheerstructuur, zodat het bedrijf kan vertrouwen op de nauwkeurigheid van realtime gegevens.