Ongestructureerde data:de verborgen kosten voor industrieën – hoe deze in waarde kunnen worden omgezet

In elke branche proberen data-ingenieurs en datawetenschappers beter gebruik te maken van de gegevens die verborgen zijn in bestandsshares en opgesloten in verschillende systemen. Ze hebben deze gegevens nodig om workflows voor AI en analysetools te creëren, zodat ze meer over hun markten kunnen leren, nieuwe producten en diensten kunnen creëren of de bedrijfsvoering en klantrelaties kunnen verbeteren.

De andere kant van deze vergelijking is dat bedrijfsdata grote risico's met zich meebrengen die niet goed worden begrepen door het bedrijf, en zelfs niet door de IT-afdeling. Bijvoorbeeld:

• Gegevensopslag en back-ups vormen minstens 30% van de meeste IT-budgetten wanneer geld moet worden uitgegeven aan innovatie, cyberbeveiliging en geweldige klantervaringen;
• De meeste ongestructureerde gegevens worden niet benut voor bedrijfswaarde;
• Een groot percentage van de ongestructureerde gegevens, maar liefst 80%, wordt zelden gebruikt en neemt dure opslagruimte in beslag;
• Veel organisaties hebben geen duidelijk beleid voor het bewaren en verwijderen van gegevens, en voeren ook geen regelmatige opschoningsoefeningen van hun gegevens uit uit angst dat afdelingen terug zullen slaan. Alleen al dubbele gegevens kunnen gemakkelijk 30 tot 40% van de gemiddelde gegevensvoetafdruk van ondernemingen uitmaken;
• Onbeheerde en onbekende ongestructureerde datadomeinen in hybride IT-silo's zorgen voor extra beveiligings- en compliancerisico's.

Hier volgt een overzicht van verschillende sectoren en hun vereisten en uitdagingen op het gebied van databeheer, zoals voortgekomen uit onze jarenlange samenwerking met klanten aan ongestructureerde databeheerstrategieën.

Zorg:kosten besparen zonder de toegang tot essentiële gegevens te beperken  

De gezondheidszorg is een databeest. Volgens sommige schattingen zijn gezondheidszorgorganisaties de grootste gegevensproducenten ter wereld, grotendeels gedreven door de hoeveelheid uiteenlopende klinische beelden en machinegegevens. Kostenbeheersing is en is altijd een lastig mandaat geweest in de gezondheidszorg, en nu nog meer met de wijzigingen in de Medicare-vergoeding. Zorgorganisaties hebben ook te maken met strikte regels voor het bewaren van gegevens en moeilijkheden bij het verwijderen van gegevens als gevolg van wettelijke en onderzoeksvereisten. 

Eén toonaangevend gezondheidszorgsysteem, dat meer dan 16 PB aan NAS-opslag beheerde, schakelde over op ongestructureerd gegevensbeheer om koude gegevens te analyseren en te archiveren naar Azure Blob, waardoor de druk op de primaire opslagsystemen werd verminderd. Zonder gebruikers te onderbreken, verplaatste de IT-organisatie meer dan 2 PB aan gegevens, waardoor dure hardwarevernieuwingen werden uitgesteld. 

Voor organisaties met chain-of-custody-vereisten, wat gebruikelijk is in gereguleerde sectoren zoals de gezondheidszorg, is inzicht in de bestandslocatie en metagegevens van cruciaal belang. Ten slotte, omdat compliance een altijd aanwezige behoefte is gezien de hoge gevoeligheid rond patiëntgegevens, geven volledige ongestructureerde zichtbaarheid van gegevens, zoeken en audits IT-directeuren in de gezondheidszorg meer controle om de risico's te verlagen.

Biowetenschappen:gegevenschaos omzetten in onderzoeksversnelling

Life Sciences-organisaties zijn ook een van de grootste dataproducerende sectoren. Ze hebben vaak te maken met miljoenen kleine maar waardevolle bestanden, onvoorspelbare gegevensuitbarstingen en de noodzaak van langdurige bewaring zonder duidelijk verwijderingsbeleid. Deze factoren bemoeilijken de planning van de IT-infrastructuur.

In biofarmaceutische en biotechlaboratoria zorgt de explosie van TIF-beeldbestanden van wetenschappelijke instrumenten voor extra uitdagingen. In één voorbeeld stapte een bedrijf over van lokaal opgeslagen onderzoeksgegevens naar een gecentraliseerde NAS-array. Om gelijke tred te houden met de snelle groei, implementeerde het IT-team cloudlagen in Azure en gebruikte het data-analyses om verouderde gegevens op te sporen en te verplaatsen. Dit voorkwam overprovisioning en hielp IT onderzoekspijplijnen zonder knelpunten te ondersteunen. 

Enterprise IT-teams kunnen doorgaans geen informatie zien over hun gegevens die op één plek zijn opgeslagen, zegt Anthony Fiore, expert op het gebied van opslagoplossingen bij AWS. Gedetailleerde zichtbaarheid, geleverd door datamanagementsoftware, is opwindend voor IT-mensen in de biowetenschappen en andere sectoren:"We hebben klanten met NAS-aandelen die veel gegevenssilo's in één enkel aandeel bevatten, en het is moeilijk om te weten hoe ze deze kunnen opsplitsen per branche of dat ze überhaupt om deze gegevens geven. Maar zodra ze alle metagegevens hebben gezien, krijgen ze een beter inzicht in hoe alles werkt, en kunnen ze deze later taggen en ernaar zoeken."

Financiële diensten:elimineer risico's en krachtige AI met schone, beheerde gegevens

Financiële instellingen opereren onder strenge wettelijke beperkingen (bijvoorbeeld SEC, FINRA, AVG) en gaan vaak gebukt onder tientallen jaren van groei van het aantal bestanden. De wildgroei van gegevens, gedecentraliseerde IT-controle en compliance maken het beheer van op bestanden gebaseerde gegevens uiterst complex. Daarnaast moeten financiële instellingen ervoor zorgen dat AI-modellen die worden gebruikt voor kredietrisico, fraudedetectie of handel op passende wijze worden beheerd en vrij zijn van vooringenomenheid en verouderde gegevens. Het hebben van een systematische manier om gegevens te begrijpen, op te schonen, te classificeren en veilige en bewaakte AI-gegevensworkflows te creëren, is een groeiende behoefte. 

Voor een multinationale verzekeringsmaatschappij ging de overstap naar Azure niet alleen over kostenbesparingen, maar ook over modernisering, analyses en gereedheid voor AI. Ze gebruikten ongestructureerd databeheer om de capaciteitsbehoefte op dure primaire opslag in het datacenter te verminderen, waarbij meer dan 600 TB werd gelaagd naar goedkopere object-cloudopslag. Ze gebruiken ook cloudgebaseerde tools om AI-ondersteunde verzekeringsproducten te ontwikkelen, waarbij ongestructureerde gegevens een cruciaal onderdeel vormen van die voorspellende modellen. De mogelijkheid om ongestructureerde gegevens te classificeren en segmenteren voordat AI wordt gebruikt, is van cruciaal belang voor het beheersen van de kosten en het leveren van nauwkeurige resultaten.

Zie ook: Ontsnappen aan de valkuil van gegevensopslag in realtime visuele intelligentie

Staats- en lokaal bestuur:verleng de levensduur van de infrastructuur en versterk het gegevenstoezicht

IT-organisaties in de publieke sector hebben doorgaans een verouderde infrastructuur en een hoger percentage verouderde applicaties dan de particuliere sector. Ze willen moderniseren, maar de budgetten zijn meestal krap en er is sprake van minimale adoptie van de cloud vanwege het beveiligingsbeleid, samen met wettelijke mandaten die het bewaren van gegevens vereisen zonder duidelijke verwijderingspaden. IT-leiders moeten de dienstverlening in evenwicht brengen met strikte compliance-eisen. 

Voor overheidsinstanties helpt het archiveren van bestanden in de cloud de afhankelijkheid van verouderde hardware te verminderen. Door inzicht in de laatste wijzigings-/toegangsdatums kan IT slechts zelden gebruikte gegevens van een goed presterende opslag verplaatsen. Tegelijkertijd is de integratie van opslag- en gegevensbeheersystemen met beveiligings- en compliancetools van cruciaal belang om veilige en controleerbare toegang te garanderen. Hoewel de adoptie van datalagen nog steeds voorzichtig is, gebruiken veel bureaus rapportage om een ongestructureerd beleid voor de levenscyclus van data te bepleiten, vooral rond stagnerende afdelingsdata.

Engineering en architectuur:win meer projecten door verborgen datawaarde te ontsluiten

Ingenieurs- en ontwerpbureaus genereren op grote schaal ongestructureerde gegevens, vooral uit CAD-, GIS- en 3D-modelleringsbestanden. Deze bestanden zijn groot en moeilijk te beheren, vooral voor gedistribueerde teams en geërfde systemen van fusies en overnames. Deze bedrijven moeten historische projectgegevens bewaren voor referentie, aansprakelijkheid en hergebruik. Eén wereldwijd bedrijf, dat meer dan 6 PB beheert, gebruikt ongestructureerd gegevensbeheer om projectbestanden ouder dan drie jaar te identificeren en te verplaatsen naar een Cloudian-archief, waarvan een back-up wordt gemaakt in Azure. Hierdoor blijven de prestaties op actieve HPE-arrays behouden, terwijl de toegankelijkheid behouden blijft. In één geval hielpen zoekopdrachten in hun bestandsdatastores hen snel bodemtestgegevens te vinden voor een project in een gebied dat gevoelig is voor aardbevingen, waardoor tijd werd bespaard en een kritiek infrastructuurontwerp werd ondersteund.

Terwijl ze doorgaan met het integreren van overnames, gebruikt het bedrijf analyses om nieuw overgenomen bestandsservers te evalueren. Dankzij deze zichtbaarheid kunnen ze prioriteit geven aan wat ze willen behouden, migreren of archiveren. Hun doel is om uiteindelijk alle ongestructureerde gegevens te indexeren, waardoor AI-gebaseerde modellering mogelijk wordt en kennissilo's tussen bedrijfseenheden worden verminderd.

Energie:verbeter de veldefficiëntie en naleving met gecentraliseerde gegevens

Deze bedrijven worden geconfronteerd met beperkingen op afstand, variabele bandbreedte, naleving van internationale veiligheids- en operationele regelgeving en een toenemende behoefte aan ondersteuning van datagestuurde diagnostiek op afstand en digitale tweelingen.

Bij één bedrijf kwam de beslissing om ongestructureerd databeheer over te nemen voort uit de noodzaak om edge-opslag op honderden externe locaties buiten gebruik te stellen. Terwijl videologboeken, tekeningen en offshore-onderhoudsrecords zich opstapelden, begonnen ze koude gegevens te archiveren in Azure om hun ongestructureerde gegevens te centraliseren en te controleren.

Nu er terugboekingsmodellen bestonden, werden inzichten in bestandsgegevens cruciaal voor de verantwoordelijkheid van de afdeling. Het doel op de lange termijn is om workflows voor onderzoeks- en inspectiegegevens, zoals onderwater ROV-beelden, te ondersteunen in AI-ready omgevingen voor voorspellend onderhoud en compliance. 

Halfgeleiders/productie:bescherm IP en verminder de dure opslagruimte

Halfgeleiderbedrijven moeten hoogwaardige IP beschermen, wereldwijd gedistribueerde gegevens beheren en zich houden aan strikte exportcontrole- en beveiligingsvereisten, terwijl ze ervoor moeten zorgen dat ingenieurs hoogwaardige toegang hebben tot actieve datasets.

Een wereldwijde fabrikant van halfgeleiders maakt gebruik van zeer gespecialiseerde scanapparatuur die enorme hoeveelheden bedrijfseigen beeldgegevens genereert. Omdat 97% van de gegevens nog steeds lokaal is opgeslagen, hadden ze een efficiënte methode nodig om oudere scangegevens te archiveren zonder de IP-bescherming of de ophaalprestaties in gevaar te brengen. Door ongestructureerd databeheer te combineren met Cloudian S3-opslag, implementeerden ze cold data-beleid om bestanden die binnen twaalf maanden niet waren geopend, van de primaire servers te verplaatsen. Met het symbolisch behouden van links en het volgen van metagegevens zorgde het bedrijf ervoor dat de interne IP-verwerkingsprotocollen werden nageleefd en werd de afhankelijkheid van dure primaire NAS verminderd.

Conclusie:transformeer ongestructureerde gegevens in een strategisch bedrijfsmiddel

In alle sectoren is ongestructureerd databeheer niet langer slechts een kostenbesparende tactiek, maar een strategische enabler. Of het nu gaat om het ondersteunen van AI-workflows in de verzekeringen, het handhaven van de naleving van de regelgeving in de gezondheidszorg of het stroomlijnen van de infrastructuur in de productie:organisaties erkennen de noodzaak om databeheer te combineren met flexibele datatoegang en -verplaatsing.