Kunnen we de datakwaliteit automatiseren om kunstmatige intelligentie en machine learning te ondersteunen?

Kunnen organisaties de gegevenskwaliteit automatiseren om AI en ML te verbeteren?

In het afgelopen decennium zijn bedrijven begonnen het potentieel van kunstmatige intelligentie (AI) en machine learning (ML) te begrijpen en te ontsluiten. Hoewel ze nog in de kinderschoenen staan, beginnen bedrijven de aanzienlijke impact te begrijpen die deze technologie kan hebben, waardoor ze betere, snellere en efficiëntere beslissingen kunnen nemen.

AI en ML zijn natuurlijk geen wondermiddel om bedrijven te helpen innovatie te omarmen. In feite is het succes van deze algoritmen slechts zo goed als hun fundamenten - met name kwaliteitsgegevens.

Zonder dit zullen bedrijven zien dat het doel waarvoor ze AI en ML hebben geïnstalleerd, mislukken, met de onvoorziene gevolgen van slechte gegevens die onomkeerbare schade toebrengen aan het bedrijf, zowel in termen van efficiëntie als reputatie.

Maar er is nog een ander onderzoeksgebied dat rijp is voor ontwikkeling; namelijk, kan de datakwaliteit worden verbeterd en onderhouden door automatisering en machine learning zelf?

Het risico van slechte gegevenskwaliteit

ML beïnvloedt ons leven op manieren die tien jaar geleden ondenkbaar waren, van filmstreamingservices tot chatbots, tot het helpen informeren over hoe supermarkten hun schappen indelen en ons door belangrijke transportknooppunten leiden.

Maar wat gebeurt er als het algoritme aan de slag gaat op basis van slechte datakwaliteit? De risico's in de toekomst kunnen veel groter zijn dan een film te zien krijgen die je niet leuk vindt.

Als we bijvoorbeeld gaan vertrouwen op machine learning om de ontdekking en het testen van geneesmiddelen te verbeteren, wat zou er dan gebeuren als een medicijn zou worden geformuleerd maar er fouten zouden zijn in de gegevens over chemische verbindingen die worden gebruikt om testen te simuleren? De implicaties kunnen ernstig zijn.

Een opkomende toepassing van ML die ook kan worden beïnvloed door slechte basisgegevens, zijn zelfrijdende voertuigen. Van kaarten en adressen tot hoe een voertuig reageert op een fietser, de gegevens die worden gebruikt om de machine te leren, zullen cruciaal zijn voor de acceptatie door consumenten en regelgevers.

ML-algoritmen - die reeksen regels en berekeningen die helpen bij het oplossen van gedefinieerde problemen - kunnen ofwel de verbetering van de gegevenskwaliteit ondersteunen of worden weggegooid door onnauwkeurige gegevens als de mogelijkheid van slechte gegevens niet in aanmerking wordt genomen bij hun constructie.

Geautomatiseerde gegevenskwaliteit

Zoals bij elke digitale transformatie, vereist de overgang van handmatig naar geautomatiseerd en vervolgens 'intelligent' datakwaliteitsbeheer een langetermijnplan. Experian heeft vier fasen onderscheiden over de voortgang van datamanagement, die we de Data Management Maturity Curve noemen. Niet bewust, reactief, proactief en geoptimaliseerd en bestuurd weerspiegelen de vier fasen die een volledige cyclus van een datakwaliteitsstrategie omvatten.

De evaluatie heeft een gestage progressie in de volwassenheidscurve aan het licht gebracht, aangezien organisaties het potentieel van de gegevens die ze bezitten beginnen vrij te geven en deze serieuzer te nemen. Het meest intrigerende van alles is dat degenen die zich in de fase Optimized &Governed bevinden, het begin van een ander niveau zouden kunnen zien, iets dat 'intelligent geautomatiseerd' kan worden genoemd.

'Intelligent geautomatiseerd' verwijst naar het hebben van systemen en processen om de mensen die verantwoordelijk zijn voor gegevenskwaliteit te helpen identificeren waar hun grootste zorgen zijn. We zouden nu allemaal de belangrijkste prestatiestatistieken regelmatig moeten beoordelen om trends in gegevenskwaliteit te identificeren, misschien kijkend naar de algehele voltooiingspercentages van belangrijke kenmerken, of toezicht houden op eventuele timingproblemen met gegevensontvangst of gegevenslaadstadia. Maar om uw gegevenskwaliteit echt te begrijpen, moeten we dieper in de inhoud kijken.

Is het bijvoorbeeld voldoende om te zeggen dat u in 99% van de gevallen een geboortedatum hebt verzameld om aan de gegevensvereisten van derden te voldoen, terwijl een groot deel van de data die u hebt verzameld systeemgebaseerd zijn en dus geen echte geboortedata? Dit kan echte problemen veroorzaken en de onbedoelde gevolgen kunnen door uw besluitvormingsproces stromen.

De volgende stappen

De meeste datakwaliteitsprogramma's bevatten al een element van automatisering en testen en leren. De volgende fase in deze evolutie is het gebruik van machine learning om automatisch verschillende soorten gegevens te herkennen en erop te reageren - 'intelligent geautomatiseerd'.

Bijvoorbeeld een tool voor gegevensbeheer die standaardinformatie, zoals een adres, e-mailadres, creditcardnummer of burgerservicenummer, kan herkennen met weinig voorafgaande training of het schrijven van regels voordat acties worden ondernomen, zoals het valideren van de invoer of het signaleren van een nalevingsprobleem aan een beheerder.

Het uiteindelijke doel is ML voor datakwaliteit die zichzelf in de loop van de tijd verbetert. Een goed voorbeeld hiervan is de bedrijfsnaam - is Tesco PLC hetzelfde als Tesco Stores Ltd? Hoe zit het met een deel van de Tesco-groep dat het woord 'Tesco' niet in de bedrijfsnaam heeft?

Het samenbrengen van commerciële entiteiten kan zo eenvoudig zijn als het zoeken naar de naam, of ingewikkelder door naar de details van bedrijfsaccounts, hoofdkantooradressen, CEO-namen, webadressen en andere metadata te kijken om verenigingen over de hele wereld te vinden.

Dit soort hypothesen zijn de zakelijke uitdagingen die een sterke datastrategie kan ondersteunen. Kunnen we echter naar een plaats gaan waar we dit leren kunnen automatiseren en onze gegevenskwaliteit in de loop van de tijd kunnen verbeteren met minder handmatige inspanning, zodat onze gegevensmensen meer tijd hebben om het bedrijf te analyseren en te ondersteunen?

Dat is de uitdaging voor ML:de basisregels voor gegevenskwaliteit nemen, deze implementeren en vervolgens verbeteringen voorstellen als de echte veranderingen in gegevens zichtbaar worden als uitzonderingen of uitschieters. Het is een onderwerp in opkomst en we verwachten dat er de komende jaren veel ontwikkeling zal plaatsvinden.

Uw datastrategie

In wezen is elk voorbeeld van ML afhankelijk van gegevens die geschikt zijn voor het beoogde doel - zo niet, dan kunnen die gegevens, en als gevolg daarvan, de beslissingen die daardoor worden genomen, niet worden vertrouwd.

Om dit te voorkomen, moeten organisaties ervoor zorgen dat ze een robuuste datastrategie hebben. Denk na over de redenen om aan ML te beginnen; wat zijn de verklaarbare resultaten die ze willen bereiken en vermijden?

Door vervolgens een eerste beoordeling van uw gegevens uit te voeren om de kwaliteit te controleren van wat ze al hebben, kan de organisatie actie ondernemen en plannen maken voor wat ze nog meer nodig hebben om de algehele kwaliteit van hun gegevens te verbeteren.

Het kunnen identificeren en traceren van de via ML genomen beslissingen - en alle geautomatiseerde besluitvormingsprocessen - is van vitaal belang om ze met succes te kunnen aannemen en implementeren.

Doorlopende monitoring van de datakwaliteit is ook cruciaal. Door dit te doen, kunt u snel identificeren welke gebieden aandacht nodig hebben en kunt u er zeker van zijn dat u zich in de best mogelijke positie bevindt met huidige en potentiële ML-initiatieven.

Dan zullen organisaties voor ML in staat zijn om hun datakwaliteit efficiënter te beheren, waardoor hun besluitvormingsprocessen sneller en beter worden.

Als we dit tot een logische conclusie trekken, kan het gebruik van machine learning ons helpen die gegevensproblemen te identificeren die verborgen blijven totdat ze een echt probleem vormen. Als we modellen kunnen trainen om de belangrijkste kenmerken te identificeren die een beslissing of proces langs de lijn kunnen beïnvloeden, en vervolgens kunnen controleren op schommelingen of betreffende patronen, kunnen we misschien zelfs voorspellen welke impact deze gegevensproblemen op uw bedrijf kunnen hebben.

Als we bijvoorbeeld weten dat het aantal slaapkamers in een woning rechtstreeks van invloed is op beslissingen in ons bedrijf, en we vaststellen dat we op dit gebied onvolledige of geschatte gegevens hebben op een bepaalde schaal die erger wordt, kunnen we dan voorspellen op basis van waar we weten dat de gegevens worden gebruikt, schattingen van huurinkomsten, hypotheekwaarderingen of voorspellingen van het verwarmingsverbruik?

De impact van deze groeiende zorg voor gegevenskwaliteit zou kunnen helpen om de businesscase op te bouwen om het nu gecorrigeerd te krijgen in plaats van wanneer het een echt probleem is.