Ascend Preview Tool: Datapipeline Management Stroomlijnen voor Snellere, Betrouwbaardere Inzichten

Queryable Dataflows zullen veel van de handmatige overhead die vandaag geassocieerd is met het managen van DataOps aanzienlijk verminderen.

Een van de dingen die het meest conspireert om IT veel minder agiel te maken dan iemand wil of waardeert is al de tijd en moeite die gaat in het handmatig construeren van datapipelines. Niet alleen is het een uitdaging om die pipelines in de eerste plaats te construeren, ontcijferen hoe ze werken en geïmplementeerd zijn kan dagen en weken duren.

Om het eenvoudiger te maken om bestaande datapipelines te wijzigen, biedt Ascend nu een technische preview van een tool die IT teams in staat stelt om queries direct te lanceren tegen datapipelines geconstrueerd met het bedrijf's recent gelanceerde Autonomous Dataflow Service, wat het eenvoudiger maakt om pipelines te creëren met declaratieve tools op instanties van het Apache Spark in-memory computing framework gehost op publieke clouds van Amazon Web Services (AWS), Microsoft of Google.

Zie ook: DataOps: Het Antidot voor Verstoppte Datapipelines

Gedubd Queryable Dataflows, zal deze nieuwe capability aanzienlijk veel van de handmatige overhead die vandaag geassocieerd is met het managen van DataOps verminderen, zegt Ascend CEO Sean Knapp.

Queryable Dataflows maken het mogelijk voor DataOps teams om grote raw datasets incrementeel te verkennen en te profileren terwijl ze bouwen. Die capability maakt het niet alleen eenvoudiger om nieuwe pipelines sneller te construeren, het kan ook ingezet worden om resultaten accuraat te waarborgen voordat data aan downstream applicaties wordt blootgesteld.

Pipelines zijn nu in staat om staging en exploratie op een manier te hanteren die die activiteiten van de data warehouse offload. Bovendien kunnen interactieve queries onmiddellijk in productie verplaatst worden als stages binnen de Autonomous Dataflow Service om recoding en herverwerking te elimineren.

Queryable Dataflows helpt ook operationele analytics en rapportage te optimaliseren. Data analisten en wetenschappers kunnen ook direct verbinden met pipeline stages zonder eerst data in een warehouse te laden, wat betekent dat ze hun voorkeurstools kunnen gebruiken om data te benaderen.

Vorige generaties tools voor het managen van datapipeline tools zijn, in vergelijking, weinig meer dan gepimpte job schedulers, zegt Knapp.

DataOps als IT-disipline staat onder verhoogde druk omdat de veranderingssnelheid die plaatsvindt binnen IT-omgevingen is versneld. Dankzij de opkomst van DevOps processen en microservices, is de snelheid waarmee datapipelines geoptimaliseerd of geüpdatet moeten worden exponentieel toegenomen. Handmatige updates aan datapipelines zullen enkele heel voorspelbare wrijvingspunten creëren tussen DataOps en DevOps, zegt Knapp.

"DataOps en DevOps moeten geharmoniseerd worden," zegt Knapp.

Feitelijk, die gebrek aan harmonie is wat developers ertoe leidt om vaak te proberen en de interne IT-team te omzeilen door een open source database te gebruiken om een applicatie te bouwen om pas later te ontdekken dat die database niet schaalt om aan de eisen van de applicatie te voldoen. Dan moeten ze weer engagement aangaan met interne IT-teams om die applicatie op een platform te verplaatsen zoals Apache Spark of een andere database.

Het is niet duidelijk in welke mate DataOps en DevOps ooit kunnen convergeren. Voor nu zijn beide gebieden waarschijnlijk domeinen op zich. Echter, het is ook overvloedig duidelijk dat DataOps processen moeten verbeteren tot het punt waar de constructie van datapipelines niet langer een grote bottleneck is die de modernisering van IT tegenhoudt.