Bestandsdata optimaliseren voor cloud data lakes: een praktische gids

Een cloud data lake strategie is een natuurlijke evolutie voor data-zware enterprise IT organisaties die naar de cloud bewegen, aangezien het de cloud verheft van een goedkope datalocker naar een plek waar data benut kan worden voor nieuwe waarde en gemonetiseerd.

Als 2020 en 2021 de jaren waren van snelle cloudversnelling, zal 2022 het jaar zijn waarop enterprises serieus gaan met het brengen van ongestructureerde bestandsdata in cloud data lakes. Er zijn een paar redenen achter deze trend. Ten eerste, organisaties zitten op petabytes ongestructureerde data, die ten minste 80% uitmaken van de 64 zettabytes data (en groeiend) in opslag wereldwijd vandaag. Het merendeel hiervan is bestandsdata – van medische beelden tot streamingvideo, sensordata van elektrische auto's en IoT-producten en de documenten die mensen in elke sector gebruiken om te collaboreren en zakendoen te doen.

Ten tweede wordt bestandsdata onbeheersbaar, duur om op te slaan en weten CIO's dat ze op een potentiële goudmijn van inzichten zitten als ze alleen kunnen bepalen hoe ze het op de juiste plekken voor analyse krijgen. Ten slotte investeren de grote cloudplatforms zwaar in data-analytics/ML/AI-tools en lagere-kosten objectopslagtiers om data lake projecten te ondersteunen.

Zie ook: Data Lakes, Time-Series Data, en Industriële Analytics

De volwassenwording van data lakes naar de cloud

Data lakes inschakelen is een van de topdoelen die IT-managers prioriteren, naast beveiliging, kostenbeheer en zichtbaarheid, volgens een recent door ons uitgevoerde studie. De cloud heeft traditionele data lake strategieën omgegooid, die begonnen toen bedrijven semi-gestructureerde data zoals CSV en logbestanden wilden analyseren. In 2006 werd Hadoop geboren, en kreeg wijdverspreide adoptie net op het moment dat Big Data gesprekken begonnen te circuleren. Toch bleek Hadoop uiteindelijk trager en duurder dan verwacht, gecompliceerd om op te zetten, te schalen en te managen en primair ontworpen voor batchverwerking. Om deze issues op te lossen, trad Apache Spark op het toneel, tot 100x sneller voor sommige workloads en goed geschikt voor realtime analyse. Belangrijk, de focus van bedrijven als Databricks was om Spark in de cloud te draaien, terwijl Hadoop primair on-premises geïmplementeerd was.

De afgelopen paar jaar zijn cloud-gebaseerde data lake platforms gerijpt en nu klaar voor prime time. Cloudproviders' goedkopere scale-out objectopslag levert een platform voor massive, petabyte-schaal projecten die simpelweg niet haalbaar zijn on-premises. Next-generation data lakes zijn gebouwd op Apache Spark om S3 of objectdataopslag te ondersteunen, wat het mogelijk maakt om semi-gestructureerde en ongestructureerde data in te nemen en te verwerken. Bestandsopslag overgaat ook naar de cloud en moet benut worden als onderdeel van een cloud data lake, zodat niet alle data in objectopslag hoeft te zitten.

Een cloud data lake strategie is een natuurlijke evolutie voor data-zware enterprise IT organisaties die naar de cloud bewegen, aangezien het de cloud verheft van een goedkope datalocker naar een plek waar data benut kan worden voor nieuwe waarde en gemonetiseerd.

Hoe de cloud data lake te temmen

Hoewel dit nog vroege dagen zijn voor cloud data lakes, is het imperatief bestandsdata in uw data lake op te nemen, aangezien machine learning modellen grote hoeveelheden ervan vereisen om betekenisvolle resultaten te genereren. Toch is deze ongestructureerde data niet gestandaardiseerd tussen bestandstypen: videobestanden, audiobestanden, sensordata, logs delen geen gemeenschappelijke structuur. En al deze bestandsdata willekeurig in het cloud data lake platform dumpen is geen wijze strategie, maar een rommel om later op te schonen. Ondanks hun belofte, zijn er veel risico's met data lakes, variërend van hoge beheerkosten, vaardigheidsgaten, beveiligings- en governance-zorgen, porteerbaarheidsissues bij het verplaatsen van data tussen clouds en opslagplatforms en de langdurige zorgen van de data lake een moeras wordende wanneer data te groot en verwarrend wordt om te zoeken en analyseren.

Hier zijn enkele overwegingen bij het starten met het brengen van bestandsdata in een cloud data lake om de strijd te vermijden of minimaliseren.

1. Optimaliseer de data lake. Voordat enige data geanalyseerd kan worden, moet het gecleansed, genormaliseerd en geclassificeerd worden, wat een hoogst handmatig proces kan zijn dat bijdraagt aan kostenoverloop en trage time-to-value. Dit is altijd een uitdaging geweest voor een data warehouse initiatief en hetzelfde geldt voor data lakes en data lakehouses. Data lakes zijn aantrekkelijk omdat ze data in hun native formaat kunnen opnemen; optimalisatie vereisen voordat data in de lake komt vernietigt deze gemak-van-gebruik. Hoe kunt u bestandsdata automatisch optimaliseren zonder een verandering in gebruikersgedrag te vereisen? De sleutel tot het optimaliseren van bestandsdata is de metadata: de informatie over bestandstypen, datum aangemaakt en laatst geopend, eigenaren, projecten en locatie. De mogelijkheid om bestanden automatisch te indexeren en te taggen op metadata-eigenschappen zal data moeras issues vermijden en het makkelijker maken om later te zoeken en segmenteren, in tegenstelling tot data lakes onbeheerd laten.
2. Gebruik metadata-indexering om nauwkeurige datasets voor specifieke behoeften te vinden. Tools die bestanden kunnen indexeren en metadata zoeken over opslag (inclusief on-premises, edge en cloud-locaties) kunnen miljarden bestanden inkrimpen tot een paar duizend zodat u alleen de precieze bestanden die u wilt analyseren naar de cloud stuurt.
3. Tag data as you go voor verbeterde zoekbaarheid en bruikbaarheid. Eenmaal u de bestanden die u nodig hebt vindt, kunt u een machine learning systeem gebruiken om de zoekopdracht verder te verfijnen met meer tags. Dit proces moet continu en geautomatiseerd zijn, zodat over de tijd additionele structuur ontstaat en eenvoudigere zoekbaarheid tot uw data lake komt samen met hogere kwaliteit over het algemeen.
4. De edge accommoderen. Naarmate edge computing groeit door nieuwe use cases van sensordata, wordt streamen van data van de edge onhoudbaar. Hoe kunt u meer data aan de edge verwerken en alleen wat u nodig hebt in een cloud data lake nemen? Edge pre-processing wordt kritischer naarmate edge datavolumes groeien.
5. Taxonomieën per industrie creëren. Er is geen standaard tagging nomenclatuur voor elke industrie. Het hebben van enkele gemeenschappelijke tagging classificaties per sector zal data makkelijker maken om te zoeken en te extraheren, vooral in collaboratieve omgevingen zoals onderzoek en life sciences.
6. Data mobiliteit adresseren. Om echt mobiel te zijn, moet data in staat zijn in verschillende systemen te resideren over hybride cloudomgevingen heen terwijl het ook native toegang heeft tot de diensten in die omgevingen. Data ontgrendelen uit proprietary opslagsystemen geeft controle terug aan IT en elimineert kosten en gedoe van het verplaatsen van data van het ene platform naar het andere. De manier waarop data gebruikt en benaderd wordt en zijn waarde veranderen over tijd. Door uw data toekomstbestendig te maken kunt u u aanpassen aan verandering en nieuwe eisen. Onafhankelijke data mobiliteits- en beheersoplossingen kunnen hier helpen.
7. De juiste cultuur bouwen. Toonaangevende IT-organisaties identificeren cultuur – mensen, proces, organisatie, change management – nog steeds als de grootste belemmering om data-gedreven organisaties te worden, volgens 2021 onderzoek door New Vantage Partners. Een data-gedreven cultuur moet niet alleen de analisten en de business lines bespannen maar IT-infrastructuurteams. IT-leiders zullen een rol moeten spelen in het helpen van dataopslag, server en netwerkprofessionals hun verantwoordelijkheden en dagelijkse taken te heroriënteren naar een data-centrisch besluitvormingsframework. Tools en processen moeten cross-functioneel zijn, wat een holistische blik op de data-assets van de organisatie en samenwerking rond strategieën voor het managen van die assets voor organisatorische winst toelaat.

Cloud data lakes hebben populariteit gewonnen omdat data in zijn native formaat geïngest kan worden zonder de uitgebreide pre-processing die voor data warehouses nodig is. De keerzijde is dat data lakes tot data moerassen zijn geworden met name voor ongestructureerde bestandsdata, aangezien deze data geen gemeenschappelijke structuur heeft. Bestandsdata analyseren wordt kritischer met de opkomst van AI/ML-engines die erop vertrouwen. Cloud data lakes kunnen geoptimaliseerd worden voor ongestructureerde data zonder hun aantrekkelijkheid van data in native formaat op te nemen te vernietigen door het automatiseren van het indexeren, zoeken, verzamelen en optimaliseren van bestandsdata.