Data Lakes vs. Data Warehouses: Een Modern Data Estate Bouwen

27 juli 2021

Bron: MCA Connect | Manufacturing Tomorrow

Data komt ons snel en in veel vormen tegemoet. Deze verschillende vormen kunnen gestructureerde, semi-gestructureerde en ongestructureerde data omvatten en veel mensen realiseren niet dat een data warehouse en een data lake de data anders hanteren.

Een modern data estate zou meerdere methoden moeten bieden voor het opnemen en opslaan van de diverse data die bedrijven genereren. Data komt ons snel en in veel vormen tegemoet. Deze verschillende vormen kunnen gestructureerde, semi-gestructureerde en ongestructureerde data omvatten en veel mensen realiseren niet dat een data warehouse en een data lake de data anders hanteren. Laten we deze verschillende datatypen nader bekijken:

1. Gestructureerd – traditionele databases zoals de transactionele database voor uw ERP- of CRM-systeem met formele kolom- en tabeldefinities
2. Semi-gestructureerd – bestanden zoals XML of JSON die zichzelf beschrijven met tags voor elementen en hiërarchieën
3. Ongestructureerd – afbeeldingen, video, audio en andere binaire data

Traditionele data warehouse-ontwerpen bestaan al veel decennia, terwijl het concept, of tenminste de term, data lake een enigszins nieuwere constructie is. Elk van deze heeft een plek in het data estate van uw organisatie.

Het Data Warehouse

Zoals we hierboven kunnen zien, kunnen databronnen erg divers zijn en verschillende datarepresentaties hebben, wat kan leiden tot afwijkende informatie. Bovendien maakt de grote verscheidenheid aan schema's en structuren in databronnen het moeilijk geconsolideerde informatie te verkrijgen wanneer een complete snapshot van de data vereist is van alle business-subsystemen. In het algemeen is dit de hoofdoorzaak voor het ontstaan van Data Warehouse-oplossingen.

Een data warehouse is een formeel ontwerp, vaak gebaseerd op ontwerprichtlijnen die een formeel ETL-proces (Extract-Transform-Load) implementeren om ruwe, gestructureerde datasets te consumeren en ze in een model te laden dat ontworpen is voor rapportage. Data warehouses zijn gebouwd op relationele databases zoals Azure Synapse, voorheen Microsoft SQL Server. Azure Synapse is ontworpen om gestructureerde data op te slaan in tabellen met traditionele rijen en kolommen, maar heeft wel de mogelijkheid om semi-gestructureerde data zoals XML en JSON op te slaan.

De Data Lake

Een data lake keert het concept van ETL om en implementeert een ELT-proces (Extract-Load-Transform). Data in de data lake opnemen is eigenlijk gewoon alles wat u denkt dat op een gegeven moment waardevol kan zijn in een groot opslaggebied gooien, ongeacht datatype of structuur. Data lakes kunnen gestructureerde, semi-gestructureerde en ongestructureerde data opslaan. Data lakes geleverd in Microsoft Azure zijn gebouwd op opslagaccounts met Data Lake Storage Gen2 ingeschakeld bij het aanmaken van het opslagaccount.

De gedachte achter een data lake is dat u alle data wilt consumeren en later doorzoekt, terwijl de data warehouse vereist dat u de waarde vooraf identificeert met significante investering in de ontwikkeling van de opname. Vanwege de zware, voorafgaande investering die typisch vereist is om een data warehouse te ontwikkelen, als later blijkt dat u data nodig heeft die niet initieel werd meegenomen, bestaat het risico dat de brondata niet meer beschikbaar is en mogelijk voor altijd verdwenen is.

Doel: onbepaald vs in gebruik

Het doel van individuele datastukken in een data lake is niet vast. Ruwe data stroomt in een data lake, soms met een specifiek toekomstig gebruik in gedachten en soms gewoon om te hebben. Dit betekent dat data lakes minder organisatie en minder filtratie van data hebben dan hun tegenhanger.

Verwerkte data is ruwe data die voor een specifiek doel is gebruikt. Omdat data warehouses alleen verwerkte data huisvesten, is alle data in een data warehouse voor een specifiek doel binnen de organisatie gebruikt. Dit betekent dat opslagruimte niet verspild wordt op data die misschien nooit gebruikt zal worden.

Toegankelijkheid

Toegankelijkheid en gebruiksgemak verwijst naar het gebruik van de data-repository als geheel, niet de data erin. Data lake-architectuur heeft geen structuur en is daardoor gemakkelijk te benaderen en te veranderen. Bovendien kunnen eventuele wijzigingen aan de data snel worden doorgevoerd omdat data lakes heel weinig beperkingen hebben.

Data warehouses zijn ontwerpmatig meer gestructureerd. Een groot voordeel van data warehouse-architectuur is dat de verwerking en structuur van data de data zelf makkelijker te ontcijferen maken, maar de beperkingen van de structuur maken data warehouses moeilijk en kostbaar om te manipuleren.

De Voordelen van Beiden

Data lakes zijn een kosteneffectieve manier om grote hoeveelheden data van veel bronnen op te slaan. Het toestaan van data van elke structuur verlaagt de kosten omdat data flexibeler en schaalbaarder is, aangezien de data niet hoeft te passen in een specifiek patroon. Echter, gestructureerde data is makkelijker te analyseren omdat het schoner is en een uniform schema heeft om op te vragen. Door data te beperken tot een schema, zijn data warehouses erg efficiënt voor het analyseren van historische data voor specifieke databeslissingen. Zowel een goed data warehouse als een data lake zijn kritiek voor het toekomstige succes van uw organisatie en horen in uw moderne data estate.

Wat is een Data Estate?

Het vestigen van een modern data estate is een foundationele stap naar digitale transformatie. Een modern data estate stelt tijdige inzichten en besluitvorming over al uw data in staat en legt de basis voor AI. Een data estate is alle data die een organisatie bezit. Wanneer u deze data migreert naar de cloud of uw on-premises omgeving moderniseert, kunt u belangrijke inzichten verkrijgen om innovatie te voeden.

Microsoft Dynamics 365 Pre-Built Data Warehouse, DataCONNECT

Een data warehouse bouwen kan erg duur en tijdrovend zijn om uw bronsystemen goed te reviewen, een datamodel te ontwerpen en de benodigde ETL te creëren om het te verwerken. MCA Connect heeft onze DataCONNECT Data Warehouse-oplossing ontwikkeld voor Microsoft Dynamics AX, Dynamics 365 Finance en Customer Engagement. Deze oplossing versnelt de timeline voor de levering van een uitgebreide data warehouse-oplossing aanzienlijk en verlaagt implementatiekosten. Het is ook een geweldige manier om te beginnen met het bouwen van uw uitgebreide data estate.

DataCONNECT kan organisaties voeden met snelle, accurate informatie, wat hen de capaciteit geeft om te voorspellen, aan te passen en operaties met precisie te sturen. U kunt snel gevalideerde data in voorspellingsmodellen halen, zodat u uw planningscycli voor gebieden van uw bedrijf kunt starten. Als u meer wilt weten over hoe de DataCONNECT Data Warehouse of een data lake uw bedrijf kan helpen big data op te slaan, neem dan contact met ons op. Een van onze experts begeleidt u graag in de juiste richting.

De content en meningen in dit artikel zijn die van de auteur en vertegenwoordigen niet noodzakelijkerwijs de meningen van Manufacturing Tomorrow.