Ascend Previews-tool om het beheer van gegevenspijplijnen te vereenvoudigen

Een van de dingen die samenzweren om IT een stuk minder wendbaar te maken dan iemand wil of waardeert, is alle tijd en moeite die wordt besteed aan het handmatig construeren van datapijplijnen. Het is niet alleen een uitdaging om die pijpleidingen überhaupt aan te leggen, het kan dagen en weken duren om te ontcijferen hoe ze werken en hoe ze zijn geïmplementeerd.

Om het eenvoudiger te maken om bestaande datapipelines aan te passen, biedt Ascendis nu een technische preview van een tool waarmee IT-teams rechtstreeks zoekopdrachten kunnen starten op datapipelines die zijn gebouwd met behulp van de onlangs gelanceerde Autonomous Dataflow Service van het bedrijf, waardoor het eenvoudiger wordt om pipelines te creëren met behulp van declaratieve tools op instanties van het in-memory computing-framework van Apache Spark dat wordt gehost op openbare clouds, geleverd door Amazon Web Services (AWS), Microsoft of Google.

Zie ook: DataOps:het tegengif voor overbelaste datapijplijnen

Deze nieuwe mogelijkheid, genaamd Queryable Dataflows, zal een groot deel van de handmatige overhead die tegenwoordig gepaard gaat met het beheer van DataOps aanzienlijk verminderen, zegt Sean Knapp, CEO van Ascend.

Queryable dataflows maken het voor DataOps-teams mogelijk om grote onbewerkte datasets stapsgewijs te verkennen en te profileren terwijl ze bouwen. Die mogelijkheid maakt het niet alleen eenvoudiger om sneller nieuwe pijplijnen te bouwen, maar kan ook worden gebruikt om ervoor te zorgen dat de resultaten nauwkeurige resultaten zijn voordat gegevens worden blootgesteld aan downstream-toepassingen.

Pipelines kunnen nu de staging en exploratie afhandelen op een manier die deze activiteiten uit het datawarehouse ontlast. Bovendien kunnen interactieve query's onmiddellijk in productie worden genomen als fasen binnen de AutonomousDataflow-service om hercodering en herverwerking te elimineren.

Queryable Dataflows helpt ook bij het optimaliseren van operationele analyses en rapportage. Gegevensanalisten en wetenschappers kunnen ook rechtstreeks verbinding maken met pijplijnfasen zonder eerst gegevens in een magazijn te hoeven laden, wat betekent dat ze hun favoriete tools kunnen gebruiken om toegang te krijgen tot gegevens.

Eerdere generaties tools voor het beheren van datapijplijntools zijn, in vergelijking, niet veel meer dan verheerlijkte taakplanners, zegt Knapp.

DataOps als IT-discipline staat steeds meer onder druk doordat de snelheid van veranderingen die zich voordoen binnen IT-omgevingen is toegenomen. Mede dankzij de opkomst van DevOps-processen en microservices is de snelheid waarmee datapipelines moeten worden geoptimaliseerd of bijgewerkt exponentieel toegenomen. Handmatige updates van datapijplijnen zullen een aantal zeer voorspelbare wrijvingspunten creëren tussen DataOps en DevOps, zegt Knapp.

“DataOps en DevOps moeten op elkaar worden afgestemd”, zegt Knapp.

In feite is dat gebrek aan harmonie de oorzaak dat ontwikkelaars vaak proberen het interne IT-team te runnen door een open source-database te gebruiken om een ​​applicatie te bouwen, alleen om na verloop van tijd te ontdekken dat de database niet schaalt om aan de eisen van de applicatie te voldoen. Dan moeten ze opnieuw samenwerken met interne IT-teams om die applicatie naar een platform zoals ApacheSpark of een andere database te verplaatsen.

Het is niet duidelijk in welke mate DataOps en DevOps ooit kunnen samenkomen. Voor nu zullen beide gebieden waarschijnlijk domeinen op zichzelf blijven. Het is echter ook overduidelijk dat DataOps-processen moeten worden verbeterd tot het punt waarop de aanleg van datapijplijnen niet langer een groot knelpunt is dat de modernisering van IT in de weg staat.