De toekomst van data-integratie in 2022 en daarna

Traditionele methoden, waaronder het handmatig maken van scripts, het scrubben van de gegevens en het later laden ervan in een datawarehouse of ETL (extract-transform-load), werden gebruikt om gegevens uit verschillende bronnen te integreren. Deze methoden werden toegepast in het tijdperk van beperkte middelen en zijn nu erg tijdrovend, duur en foutgevoelig geworden, zegt Yash Mehta , een IoT- en big data science-specialist.

Er is enorm veel tijd nodig voor het opschonen van de gegevens, omdat de bron en het doel mogelijk niet dezelfde schema's, indelingen of typen gebruiken. Deze methoden zijn dus duur en vereisen geschoolde arbeidskrachten. De wereldwijde marktomvang van Enterprise Data Integration zal naar verwachting $3843,4 miljoen (€3312,03 miljoen) bereiken in 2027, van $230,8 miljoen (€1982,70 miljoen) in 2020, met een CAGR van 7,1% in 2021-2027.

Lees het globale Enterprise Data Integration-marktrapport om de drijvende factoren in de groei van de Data Integration-markt te begrijpen.

Inleiding

Om gegevensintegratie uit te leggen, is het het proces van het combineren van gegevens uit verschillende bronnen en het bieden van een uniform beeld van de gecombineerde gegevens. Dit proces stelt u in staat om al uw gegevens in één enkele interface te verwerken en te manipuleren en analyses uit te voeren (met behulp van statistieken). Met nieuwe gecentraliseerde technologiesystemen die beschikbaar zijn voor bedrijfsprocessen, blijven de bronnen en soorten gegevens groeien, en daarom wordt het steeds belangrijker om methoden en hulpmiddelen voor gegevensintegratie te begrijpen, die helpen bij het handhaven van de kwaliteit van die gegevens.

Belang van data-integratie

Data-integratie is radicaal wanneer een organisatie gevarieerde informatie heeft opgeslagen in verschillende applicaties.

Laten we enkele van de problemen bespreken die gegevensintegratie helpt oplossen:

• Gegevenssilo's

Een datasilo is, zoals de naam al doet vermoeden, een opslagplaats van geïsoleerde data. In termen van business betekent dit dat de verschillende informatie wordt beheerd door een bepaalde business unit of afdeling en niet beschikbaar is in de hele organisatie. Organisaties hebben ook te maken met dit probleem als de software die wordt gebruikt voor het opslaan van informatie niet compatibel is.

Het wordt een enorme uitdaging voor een organisatie om de informatie die in verschillende bronnen is opgeslagen bij elkaar te brengen en daaruit kwalitatieve conclusies te trekken.

• Langzame analyse

Data-analisten en leiders zijn bij de huidige besluitvorming sterk afhankelijk van betrouwbare data, en het kost veel tijd om die goede data te integreren en te analyseren. Tegenwoordig hebben bedrijven realtime data-analyse nodig om zakelijke waarde te realiseren. Het vereist dus een betrouwbaar en ontwikkeld systeem om de gegevens te integreren.

• Holistische weergave

Wanneer gegevens verspreid zijn over verschillende platforms, bronnen of applicaties, is het moeilijk om er een holistisch beeld van te hebben. De klantgegevens van een organisatie van verschillende CRM-apparaten of -applicaties kunnen bijvoorbeeld variëren voor offline en online winkels, maar het datateam van de organisatie wil die gegevens in kaart brengen met de informatie van de klant en geografische informatie om diepgaande analyses uit te voeren voor het opschalen van de verkoop. De correlatie van deze informatie is belangrijk en vereist de integratie van alle CRM-platforms, anders zal er veel tijd en moeite nodig zijn om deze gegevens handmatig te integreren.

Methoden en hulpmiddelen voor gegevensintegratie

De strijd van bedrijven is niet het gebrek aan data, maar het datavolume en de tijdige analyse ervan. De enorme hoeveelheid gegevens die van verschillende cloudapplicaties naar IoT-eindpunten in organisaties en sectoren stromen, maakt het erg moeilijk om gegevens tijdig te analyseren.

Het proces van het verbinden en routeren van gegevens van bronsystemen naar doelsystemen wordt bereikt door middel van een verscheidenheid aan technieken voor gegevensintegratie (typische traditionele of moderne methoden).

• Traditionele methoden

De traditionele methoden zijn meestal batchgewijs en bieden de data-analisten niet de mogelijkheid om real-time data-analyse uit te voeren.

• Moderne methoden

Moderne data-integratiemethoden zijn ontwikkeld om mee te evolueren met de flexibele aard van data en om zich aan te passen aan de steeds veranderende behoeften van data-integratie. Enkele succesvolle moderne benaderingen zijn geautomatiseerde ELT (extract-load-transform) en cloudgebaseerde gegevensintegratie.

• ELT verschuift in feite de transformatiestap naar het einde van de gegevenspijplijn waar u gegevens kunt laden voordat u deze transformeert. Zo blijft het datawarehouse één enkele bron van waarheid. De integriteit van de opgeslagen gegevens werd dus niet aangetast tijdens het uitvoeren van de transformaties.

• Cloudgebaseerde gegevensintegratie helpt bedrijven bij het combineren van hun gegevens uit verschillende bronnen (zowel cloudapplicaties als on-premises systemen) tot meestal (maar niet altijd) een cloudgebaseerd datawarehouse. Deze integratie van data resulteert in verbeterde operationele efficiëntie en betere interne communicatie voor bedrijven. Nu meer bedrijven werken met een hybride mix van Software as a Service (SaaS)-oplossingen en on-premises applicaties, hebben experts aangegeven dat meer dan 90 procent van de ondernemingen meer zal neigen naar cloudgebaseerde data-integratie. Een dergelijke integratie maakt de realtime uitwisseling van gegevens en processen mogelijk. De geïntegreerde gegevens zijn dan voor meerdere apparaten via een netwerk of via internet toegankelijk. Enkele veelgebruikte cloudgebaseerde gegevensintegratieplatforms zijn K2View Gegevensintegratie, Informatica Cloud Gegevensintegratie, Amazon Roodverschuiving, Sneeuwvlok, enz.

Aan de slag met moderne gegevensintegratie

Met moderne benaderingen voor gegevensintegratie is de handmatige inspanning van het beheren en opschonen van de datasets en het later laden van de gegevens in de individuele datawarehouse-omgevingen overbodig geworden. Nu kunt u de gegevens die u nodig hebt opslaan, streamen en leveren, wanneer u ze nodig hebt, vanaf elk cloudgebaseerd platform voor gegevensintegratie. K2View-gegevensintegratie is bijvoorbeeld een gegevensintegratieplatform dat gegevens uit verschillende bronnen in elke technologie of indeling beheert en de gegevensvelden voor zakelijke entiteiten (bijv. klant, locatie, apparaat, product) modelleert. Vervolgens worden deze gegevens opgenomen in microdatabases. Later worden andere gegevensverwerkingsstappen zoals gegevensmaskering, transformatie (gebruikt een in-memory database om gegevenstransformatie met hoge snelheid uit te voeren) en verrijking uitgevoerd. Ten slotte worden deze geïntegreerde gegevens naar verbruikende applicaties gestuurd.

Conclusie

In de wereld van data-integratie bieden moderne benaderingen voor data-integratie vele voordelen, van het verlagen van engineeringkosten en het verrijken van data tot het verkorten van de tijd tot inzicht en het vergroten van het aanpassingsvermogen aan veranderingen.

De auteur is Yash Mehta, een IoT- en big data science-specialist.