Data kwaliteit automatiseren om AI & ML-succes te versnellen

Afgelopen decennium hebben bedrijven begonnen het potentieel te begrijpen en te ontgrendelen dat kunstmatige intelligentie (AI) en machine learning (ML) kunnen brengen. Hoewel nog in de kinderschoenen, beginnen bedrijven de significante impact te begrijpen die deze technologie kan hebben, hen helpen betere, snelere en efficiëntere beslissingen te nemen.

Natuurlijk is AI en ML geen zilveren kogel om bedrijven te helpen innovatie te omarmen. Feitelijk is het succes van deze algoritmes alleen zo goed als hun fundamenten – specifiek, kwalitatieve data.

Zonder het, zullen bedrijven het doel waar ze AI en ML voor geïnstalleerd hebben, zien mislukken, met de onvoorziene gevolgen van slechte data die onherstelbare schade aanricht aan het bedrijf, zowel in termen van efficiëntie als reputatie.

Maar er is een ander exploratiegebied dat rijp is voor ontwikkeling; namelijk, kan data kwaliteit verbeterd en onderhouden worden door automatisering en machine learning zelf?

Het risico van slechte data kwaliteit

Van film streaming diensten, tot chatbots, tot het helpen informeren hoe supermarkten hun planken rangschikken en ons leiden door grote vervoersknooppunten, beïnvloedt ML ons leven op manieren die onvoorstelbaar waren een decennium geleden.

Maar wat gebeurt er als het algoritme ingesteld wordt om te werken op de basis van slechte data kwaliteit? De risico's in de toekomst kunnen veel erger zijn dan een film geserveerd krijgen die je niet leuk vindt.

Als we beginnen te vertrouwen op machine learning om de ontdekking en testen van farmaceutica te verbeteren, wat zou er gebeuren als een medicijn geformuleerd werd maar er fouten in de chemische samenstellingsdata zaten die gebruikt werden voor simulatie-testen? De implicaties kunnen zwaar zijn.

Een opkomende toepassing van ML die ook geïmpacteerd kan worden door slechte basisdata is zelfrijdende voertuigen. Van kaarten en adressen tot hoe een voertuig reageert op een fietser, de data gebruikt om de machine te leren zal cruciaal zijn voor consumenten- en regulatoradoptie.

ML-algoritmes – die sets van regels en berekeningen die helpen gedefinieerde problemen op te lossen – kunnen ofwel de verbetering van data kwaliteit ondersteunen of afgeworpen worden door onnauwkeurige data als de mogelijkheid van slechte data niet overwogen wordt in hun constructie.

Geautomatiseerde data kwaliteit

Als met elke digitale transformatie, zal het verplaatsen van handmatig naar geautomatiseerd en dan 'intelligente' data kwaliteitsbeheer een langetermijnplan vereisen. Experian heeft vier stadia geïdentificeerd over de progressie van data management, wat we de Data Management Maturity Curve noemen. Unaware, Reactive, Proactive en Optimised & Governed reflecteren de vier stadia die een volledige cyclus van een data kwaliteitsstrategie bespannen.

De assessment heeft een stijdige progressie op de maturity curve onthuld, naarmate organisaties beginnen het potentieel van de data die ze vasthouden vrij te geven en het serieuzer te nemen. Meest intrigerend van allemaal, diegene die zich in het Optimised & Governed stadium bevinden, kunnen de beginstages zien van een ander niveau, iets wat 'intelligently automated' genoemd kan worden.

'Intelligently automated' verwijst naar het hebben van systemen en processen op de plaats om de verantwoordelijken voor data kwaliteit te helpen identificeren waar hun grootste zorgen liggen. We zouden allemaal nu op regelmatige basis key performance metrics moeten reviewen om trends in data kwaliteit te identificeren, misschien kijken naar algehele voltooiingspercentages van sleutelattributen, of monitoren op timing-concerns met data ontvangst of data laad fasen. Maar je data kwaliteit echt begrijpen vereist dat we dieper kijken in de inhoud.

Bijvoorbeeld, is het genoeg om te zeggen dat je een geboortedatum hebt verzameld om te voldoen aan derde-partij data-eisen in 99% van de gevallen, wanneer een groot deel van de data die je verzameld hebt, systeem-afgeleid is en dus geen echte geboortedata zijn? Dit kan echte problemen veroorzaken en de onbedoelde gevolgen kunnen door je besluitvormingsproces golven.

De volgende stappen

Meeste data kwaliteitsprogramma's bevatten al een element van automatisering en test-en-leer. Het volgende stadium in deze evolutie is het gebruik van machine learning om automatisch verschillende typen data te herkennen en te reageren – 'intelligently automated'.

Bijvoorbeeld, een data management tool die standaard informatie zoals een adres, e-mail, creditcardnummer, of burgerservicenummer kan herkennen met weinig pre-training of regel-schrijven voordat acties ondernomen worden zoals het valideren van de invoer of het vlaggen van een compliance-kwestie aan een manager.

Het uiteindelijke doel is ML voor data kwaliteit dat zich dan zelf verbetert over tijd. Een goed voorbeeld is bedrijfsnaam – is Tesco PLC hetzelfde als Tesco Stores Ltd? Wat over een deel van de Tesco groep die het woord 'Tesco' niet in de bedrijfsnaam heeft?

Commerciële entiteiten groeperen kan zo simpel zijn als zoeken naar de naam, of complexer door te kijken naar het detail van bedrijfsrekeningen, hoofdkantooradressen, CEO-namen, webadressen en andere metadata om associaties over de hele wereld te vinden.

Deze soorten hypotheses zijn de zakelijke uitdagingen die een sterke data strategie kan ondersteunen. Maar kunnen we naar een plek bewegen waar we deze leerautomatiseren en onze data kwaliteit over tijd verbeteren met minder handmatige inspanning, wat onze data-mensen meer tijd geeft om te analyseren en het bedrijf te ondersteunen?

Dat is de uitdaging voor ML – de baseregels voor data kwaliteit nemen, ze implementeren en dan verbeteringen voorstellen naarmate real-world veranderingen in data zichtbaar worden als uitzonderingen of outliers. Het is een opkomend onderwerp en een waar we verwachten veel ontwikkeling in de komende jaren te zien.

Jouw data strategie

Fundamenteel is elk voorbeeld van ML afhankelijk van data die fit is voor het doel – zo niet die data, en als gevolg, de beslissingen die daardoor gemaakt worden, kunnen niet vertrouwd worden.

Om dit te vermijden, moeten organisaties ervoor zorgen dat ze een robuuste data strategie hebben. Denk over de redenen om ML te starten; wat zijn de verklaarbare uitkomsten die ze willen bereiken en vermijden?

Dan, door een initiële assessment van je data te doen om de kwaliteit van wat ze al hebben te sense-checken, kan de organisatie actie ondernemen en plannen voor wat ze nog nodig hebben om de algehele kwaliteit van hun data te verbeteren.

In staat zijn om de beslissingen gemaakt via ML – en alle geautomatiseerde besluitvormingsprocessen – te identificeren en te traceren, is vitale als ze succesvol geadopteerd en geïmplementeerd moeten worden.

Lopende monitoring van data kwaliteit is ook cruciaal. Door dit te doen zul je in staat zijn om snel te identificeren welke gebieden aandacht nodig hebben en gerustgesteld zijn dat je in de best mogelijke positie bent met huidige en potentiële ML-initiatieven.

Dan zullen organisaties in een positie zijn voor ML om hen in staat te stellen hun data kwaliteit efficiënter te managen, wat hun besluitvormingsprocessen sneller en beter maakt.

Dit tot zijn logische conclusie genomen, kan machine learning ons helpen die data-zorgen te identificeren die verborgen blijven tot ze een echt probleem zijn. Als we modellen kunnen trainen om de sleutelattributen te identificeren die een beslissing of proces de lijn op kunnen beïnvloeden, en dan monitoren op fluctuaties of zorgenwekkende patronen, kunnen we misschien zelfs de impact voorspellen die deze data-zorgen op je bedrijf kunnen hebben.

Bijvoorbeeld, als we weten dat het aantal slaapkamers in een onroerend goed direct beslissingen in ons bedrijf beïnvloedt, en we vaststellen dat we onvolledige of benaderde data in dit veld hebben tot een bepaalde schaal die erger wordt, zouden we kunnen voorspellen, gebaseerd op waar we weten dat de data gebruikt wordt, huurinkomsten schattingen, hypotheekwaarderingen, of verwarmingsverbruik voorspellingen?

De impact van deze groeiende data kwaliteitszorgen, kan helpen de business case bouwen om het nu te corrigeren in plaats van wanneer het een echt probleem is.