Smart Talk Episode 8: Real-time inzichten ontgrendelen op Data Lakehouses

De data lakehouse heeft zich ontwikkeld tot een flexibele, multi-use repository. In deze Smart Talk-episode bespreken Dinesh Chandrasekhar, CEO van Stratola, en zijn gast, Justin Borgman, CEO en Chairman van Starburst, hoe de mogelijkheden van een data lakehouse uit te strekken naar real-time data en high-performance queries die bijna real-time inzichten kunnen leveren – een steeds gebruikelijker use case. Twee sleuteltechnologieën zijn vereist – Kafka streams en een krachtige query-engine.

Bijzonder interessant zijn hun perspectieven op het belang van open-source software en open formaten, gevalideerd door Snowflake en Databricks die ondersteuning aankondigen voor Apache Iceberg. Justin deelt zijn advies voor het benchmarken van oplossingen: gebruik uw enterprise data, draai uw eigen queries, simuleer schaal, en bereken tenslotte kosten.

Onderwerpen die behandeld worden:

• Kafka voor streaming real-time data in data lakehouses (4:22)
• Voordelen van open formaten (5:56)
• SQL's ondersteunende rol voor GenAI (8:53)
• Snowflake, Databricks en Iceberg (11:56)
• Flexibele data repository strategie (17:21)

Gast

Justin Borgman, CEO en Chairman, Starburst

Justin Borgman is een subject matter expert op het gebied van big data & analytics. Voor het oprichten van Starburst was hij Vice President & GM bij Teradata (NYSE: TDC), waar hij verantwoordelijk was voor het portfolio van Hadoop-producten. Justin trad Teradata toe in 2014 via de overname van zijn bedrijf Hadapt, waar hij co-founder en CEO was. Hadapt creëerde „SQL on Hadoop”, waardoor Hadoop van een bestandssysteem tot een analytische database toegankelijk voor elk BI-tool werd. Hij richtte Starburst op in 2017, met als doel analisten de vrijheid te geven om diverse datasets te analyseren waar ook hun locatie, zonder in te boeten op prestaties.

Host

Dinesh Chandrasekhar is een technology evangelist, thought leader en ervaren IT-industrie-analist. Met bijna 30 jaar ervaring heeft Dinesh gewerkt aan B2B enterprise software en SaaS-producten die geavanceerde oplozingen leveren en markten voor klanten met complexe architecturen. Hij heeft ook highly successful GTM-strategieën gedefinieerd en uitgevoerd om verschillende high-growth producten op de markt te brengen bij bedrijven als LogicMonitor, Cloudera, Hortonworks, CA Technologies, Software AG, IBM etc. Hij is een prolific spreker, blogger en weekend-coder. Dinesh heeft een MBA-graad van Santa Clara University en een Master in Computer Applications van de Universiteit van Madras. Momenteel runt Dinesh zijn eigen bedrijf, Stratola, een klantgerichte business strategy consulting en full-stack marketing services firma.

Bronnen

Smart Talk Episode 7: Cardinality, Control and Costs in Observability

Smart Talk Episode 6: AIOps en de toekomst van IT Monitoring

Smart Talk Episode 5: Disaggregatie van de Observability Stack

Smart Talk Episode 4: Real-Time Data en Vector Databases

Smart Talk Episode 3: Moderne Data Pipelines en LLMs

Smart Talk Episode 2: De opkomst van GenAI Applicaties met Data-in-Motion

Smart Talk Episode 1: Het Data-in-Motion Ecosysteem Landschap

Bekijk de data-in-motion ecosystem map hier

Leer meer over data-in-motion op RTInsights hier

Transcript

Dinesh Chandrasekhar:

Hallo en welkom bij deze aflevering van Smart Talk in de Data and Motion Leadership serie. Ik ben uw host, Dinesh Chandrasekhar, chief analyst en founder van Stratola. Onze gast vandaag is Justin Borgman, CEO en chairman van Starburst. Justin heeft een sterling carrière in beveiliging en data analytics bedrijven, en voor het oprichten van Starburst in 2017 had hij een bedrijf genaamd Hadapt opgericht, dat later overgenomen werd door Teradata waar hij als VP en GM dienstdeed voor een aantal jaren. Welkom Justin. En laten we beginnen met Starburst, toch? Ik denk dat veel mensen Starburst kennen als een merk, maar er zijn ook veel mensen die graag meer over Starburst willen leren. Vertel ons over Starburst, met name de oorsprong en uw drijfveer om het bedrijf op te richten.

Justin Borgman:

Mijn plezier. Zoals vermeld in de introductie, ben ik al ongeveer 15 jaar in de data analytics ruimte, teruggaand tot die eerste startup, die overgenomen werd door Teradata. Natuurlijk, zoals uw publiek waarschijnlijk weet, was Teradata decennialang de leider in data warehousing analytics. En dat model vereiste echt het verplaatsen van al uw data in een proprietarie database, wat uw enterprise data warehouse was. En vanaf daar kon je snelle analytics draaien en je business begrijpen. Ik denk dat we een kans zagen om dat model fundamenteel om te keren, met name op twee manieren. Nummer één, de mogelijkheid om open table formats in een data lake te benutten, wat je data warehousing prestaties geeft. Maar in een data lake, noemen mensen dit soms een lakehouse-architectuur, evenals in staat zijn om uit te steken naar andere databronnen en tabellen die in een andere database leven te joinen met tabellen in die data lake.

Bijvoorbeeld, je hebt misschien een Oracle database of SQL Server database, en je wil een tabel in een van die systemen joinen met een tabel in een Iceberg-bestandsformaat in een data lake. En dat is in essentie wat onze technologie doet. Het is de onderliggende technologie genaamd Trino. Het is een open source project. Het is oorspronkelijk ontstaan uit Facebook, en het is hoe veel van de grootste internetbedrijven, LinkedIn, Airbnb, Netflix, Apple, etc. hun eigen data warehousing analytics doen. Weer in dat model waar de data lake de centrale repository is waar ze heel lage cost of ownership kunnen krijgen, data opslaan in deze data lakes, evenals in staat zijn om andere tabellen te joinen. En dus is Starburst eigenlijk de commercialisatie van dat open source project. We bieden een enterprise versie van Trino die extra beveiligingsfuncties, extra connectors, extra prestatievoordelen en een hele host van andere features en functionaliteit heeft.

Dinesh Chandrasekhar:

Dank je. En ik wil zeker dieper ingaan op Trino en Iceberg en al dat. Ik denk dat die allemaal geweldige onderwerpen zijn voor vandaag, maar kan ik even een stapje teruggaan en je vragen over de evolutie van data-architecturen? We hadden traditionele databases en toen kwamen data warehouses, en met de explosie van data en de behoefte aan meer real-time data-verwerking, kwamen lakehouse-architecturen en anderen. In jouw wereld, als je kijkt naar de evolutie van data-architecturen, data lakehouse, en in jouw geval denk ik dat je een concept hebt genaamd de Icehouse ook, hoe heeft dat de mogelijkheid van organisaties beïnvloed om real-time data effectief te hanteren?

Justin Borgman:

Goede vraag. En om het duidelijk te maken voor uw luisteraars, het icehouse-concept is eigenlijk gewoon een Iceberg-gebaseerde lakehouse. De data wordt opgeslagen in een Iceberg-tabelformaat en je kunt data warehousing-stijl analytics erboven doen. Het netto resultaat biedt echt lage totale cost of ownership evenals de mogelijkheid om near real-time data te hanteren zoals je beschreef. En de manier waarop we daarover nadenken is dat we een enorme toename zien in de hoeveelheid streaming data technologieën op de markt zoals Kafka bijvoorbeeld, waar klanten die steeds vaker gebruiken om data in near real-time in een data lake te streamen.

En vanuit ons standpunt is dat waar we het willen oppakken. We hebben iets gebouwd wat we streaming ingest noemen, waar je kunt connecten met een Kafka-stream en we zullen dat automatisch omzetten in Iceberg-tabellen en ze bijna direct beschikbaar maken voor querying. Dit stelt een bedrijf nu in staat om veel snellere, versere inzichten op hun data te krijgen als resultaat van deze architectuur.

Dinesh Chandrasekhar:

Dank je. Dus de Lakehouse beloftes zijn zeker een zeer unified architecturale benadering voor batch en real-time analytics. Kunnen we zeggen dat, ik bedoel, hoe zie je deze architecturale verschuiving BI en de traditionele besluitvorming over industrieën heen transformeren? Hoe is dat veranderd?

Justin Borgman:

Ja, ik zie het dingen redelijk dramatisch veranderen. Ik denk dat een van de drijvers en een van de voordelen van deze architectuur zo simpel is als economie. Aan het einde van de dag, die traditionele data warehouses konden heel duur worden. Dat was eigenlijk waarschijnlijk een van de nummer één klachten tijdens mijn tijd bij Teradata. Niemand zei ooit dat Teradata een slechte database was. Het is eigenlijk een geweldig databasesysteem. Het is gewoon extreem duur en een keer als je erin zit, zit je erin en je bent als het ware gecommitteerd.

En dus stelt deze data lake je een grotere flexibiliteit in staat omdat je open formaten gebruikt, wat de klant in staat stelt te kiezen wat de juiste engine is om toegang te krijgen tot mijn data. Het geeft je veel flexibiliteit, verlaagt de lock-in, maar stelt je ook in staat om je data op te slaan in echt goedkope commodity storage, wat in de cloud-context steeds vaker S3 of Google GCS of Azure Data Lake storage is. En zelfs in de on-prem wereld zien we S3-compatibele object storage van bedrijven als Dell of IBM of wat dan ook, waar je eigenlijk S3 kunt krijgen. Dus dat wordt de soort common foundation laag voor het heel goedkoop opslaan van data, en dat is een deel van wat deze transformatie drijft.

Dinesh Chandrasekhar:

Oké, laten we misschien nu ingaan op, nu ik denk dat dat soort de hele driver achter jouw aanbod is, het heeft populariteit gewonnen over de jaren als een zeer krachtige query-engine in de realtime data ruimte. Hoe zie je zijn rol evolueren in het moderne data-ecosysteem? Vooral zoals je vermeldde, zijn er andere open source technologieën als Apache Iceberg, die ook veel interoperabiliteit bieden tussen verschillende datasystemen en zo voort. Hoe is dit gecombineerd met de combinatie van enkele van die andere open source technologieën het moderne data-ecosysteem veranderend?

Justin Borgman:

Ik denk dat het echt de Postgres van data warehousing wordt. Postgres is natuurlijk een wijd uitgebreide, extreem populaire open source database. Het is een traditionele R-D-B-M-S single node. Trino is soort van de MPP massively parallel processing data warehousing analytics equivalent. En dus voor je big data, voor je data warehousing-stijl activiteiten, wordt dit nu de de facto open source keuze.

Soms vragen mensen, nou, wat is met Spark in vergelijking? Spark is een geweldige general-purpose processing engine, maar niet echt geoptimaliseerd voor SQL analytics. En ik denk dat naar je punt eerder over business intelligence en besluitvorming, SQL is nog steeds de taal van die typen use cases, of het nu is een BI-tool connecten, rapportage draaien, of zelfs data-gedreven applicaties bouwen, SQL blijft een heel belangrijke taal om te interfaceren, en Trino is de nummer één engine daarvoor in de markt vandaag.

Wanneer je het combineert met iets als Iceberg, zoals je zei, heb je nu een complete data warehouse eigenlijk. Je hebt de query-engine, je hebt de storage, en nu heb je een complete open data warehouse. Ze kunnen ook overal draaien, het kan on-prem draaien, het kan in de cloud draaien. Dus je hebt veel flexibiliteit met die stack.

Dinesh Chandrasekhar:

Kan ik je een kleine bijvraag stellen? Omdat je SQL noemde als de go-to voor veel van deze datastores de laatste tijd, en ik geloof dat in de laatste 30, 40 jaar, niets dat heeft kunnen schudden, maar met het avontuur van gen AI-technologieën en natural language processing overal, kunnen mensen nu praten over data democratisatie waar je het nu distribueert naar zelfs business analysts die waarschijnlijk geen gelijke kennis hebben, maar natural language kunnen gebruiken om te zeggen, geef me de laatste drie maanden verkoop in deze specifieke regio en zo voort.

En intern vertaalt dat dat natuurlijk naar SQL en vraagt dan de engine of wat dan ook, toch? Zie je daar ook een verschuiving in? Ga SQL voortbestaan en overleven, of ga er een verschuiving zijn in hoe we kijken naar data opvragen vooruitgaand?

Justin Borgman:

Dat is een echt geweldige vraag en ik denk dat je er iets op zit. Ik denk geleidelijk over tijd, ik denk dat generative AI als interface super populair wordt omdat, naar je punt, het het voor iedereen frankerweg vereenvoudigt om te gebruiken. Dus nu is het meer een Google-ervaring op alle data in een enterprise, en dat is heel spannend. In feite hebben we een vroege versie daarvan in ons eigen product geïntegreerd en ik denk dat iedereen dat zal doen, het zal table stakes worden.

Ik denk wel, achter de schermen, die technologieën zullen gewoon die natural language converteren naar een SQL-syntax voor de engine om daadwerkelijk uit te voeren. Dus ik denk dat de taal nog steeds belangrijk zal zijn, maar het kan meer een implementatiedetail worden achter een generative AI natural language-stijl interface. Ik denk dat je de nagel op de kop slaat. Het herinnert me een beetje aan toen rekenmachines of zelfs grafische rekenmachines uitgevonden werden, plotseling hoefden we niet alle formules en precies hoe je langere deling doet te weten omdat onze rekenmachine dat voor ons regelde. Ik denk dat dat soort van wat generative AI voor ons gaat doen.

Dinesh Chandrasekhar:

Makkelijkere toegang tot data, zeker. Ik denk dat dat is waar we naartoe gaan. Dus zeker een spannende ruimte. Dus we spraken over Trino. Kan ik de gesprekskant veranderen en je vragen over Iceberg weer? Dat wordt heel, heel populair. Ik zie de grotere reuzen in de industrie beginnen iceberg te adopteren als een heel natuurlijke manier om te zeggen we zijn interoperabel, we supporten het, en zo voort. Dus naarmate organisaties steeds meer real-time analytics adopteren, wat is de rol van iceberg in het mogelijk maken van een efficiëntere en schaalbaardere databeheer? Wat is jouw mening daarover?

Justin Borgman:

Ja, ik denk dat het een groot ding is. Ik denk dat het het grootste verhaal is naast AI van 2024. En de reden waarom ik dat zeg is dat het formaat al een paar jaar bestaat, maar echt dit jaar heeft de markt de debat beslecht over welk formaat gaat winnen. Er was een korte periode waar er soort van drie populaire concurrerende formaten waren, en het was een vraag wie gaat winnen?

Onze wed was altijd Iceberg, ik zou zeggen we voorspelden dat het zo zou gaan, maar ik denk dat de markt het er echt mee eens is geworden deze zomer toen zowel Snowflake als Databricks hun eigen intenties aankondigden om het te supporten, en dat heeft het debat eigenlijk gedood zoals Iceberg de de facto standaard is en wat dat voor klanten doet, klanten zijn de echte winnaars hier bij lange na. En dat is omdat ze nu de data kunnen opslaan in een formaat dat ze bezitten, dat ze controleren, dat draagbaar is voor ze, dat niet in de handen is van een databasevendor die ze decennialang gijzelen gaat.

Ze bezitten dat en dat betekent dat ze de engines tegen elkaar kunnen laten spelen. Ze kunnen zeggen, oke, Starburst gaat deze workload doen die me de beste cost performance geeft voor dat. Misschien is Snowflake beter voor deze workload. Misschien is Databricks beter voor die workload en de klant heeft de keuze tussen die engines, wat geweldig is. Als engines concurreren, win jij als klant en ik denk dat dat echt wat Iceberg beschikbaar stelt.

Dinesh Chandrasekhar:

Maar dat was een geweldige samenvatting. Ik denk dat dat duidelijk maakte over het belang van iceberg vooruitkijkend als bedrijven standaardiseren op een model waar ik denk dat iedereen meer interoperabel is en ik denk dat het de klant baat, zoals je zei, zonder vastgezet te zijn aan een specifieke vendor, maar ze in staat stelt om een beetje meer open en flexibel te zijn. Dat is een geweldig punt zeker.

Justin Borgman:

Precies.

Dinesh Chandrasekhar:

Justin, waarom praten we niet over misschien een klantvoorbeeld hier omdat Trino en Iceberg het centrum van het gesprek vandaag zijn, vertel ons over misschien een klant case study waar je dit praktisch toegepast hebt gezien en wat voor voordelen ze gezien hebben door Trino en Iceberg te adopteren?

Justin Borgman:

Graag. Er zijn een aantal voorbeelden zowel van leidende internetbedrijven als een DoorDash tot meer traditionele enterprises als Comcast die al lange tijd bestaan en in beide gevallen van wat ik traditionele data warehouse platforms zou noemen, workloads eraf verplaatsen.

In het geval van Comcast, heel traditionele on-prem data warehouse. In het geval van DoorDash, zou ik het een heel traditionele cloud data warehouse noemen. En in beide gevallen, wat ze uiteindelijk proberen te doen, is betere TCO op hun SQL analytics krijgen en de flexibiliteit bieden om met de nieuwste cutting-edge technologieën te werken die kunnen interfaceren vanaf dit ene gemeenschappelijke formaat.

Weer, naar ons vorige punt, ik denk dat ze ook proberen, en dit betreft het AI-onderwerp, ze leggen de fundamenten van hun data-architectuur in orde zodat ze nu gemakkelijke toegang hebben tot de data die ze nodig hebben om hun eigen modellen te trainen of RAG-workflows uit te voeren om uiteindelijk hun eigen AI-ambities te ondersteunen. En ik denk dat veel enterprises in die vroege dagen zitten van het uitzoeken wat AI voor me kan doen? Hoe kan dit me een competitief voordeel geven?

En terwijl ze dat uitzoeken, één ding denk ik dat ze allemaal heel duidelijk over zijn is dat hun eigen proprietaire data centraal gaat zijn om hen competitief voordeel te geven. En dus een data-infrastructuur opzetten die je toegang geeft tot wat je nodig hebt op een lage kosten hoge performante manier is een kernstap in dat proces.

Dinesh Chandrasekhar:

Dus als een manier van voordeel in een, kan ik dubbel klikken op dat en zeggen of je vragen met real-time data met name, introduceert het vaak uitdagingen zoals schema-evolutie veranderingen aan het schema als de bronnen veranderen, de target moet zich aanpassen en zo voort, en data versionering ook. Hoe helpt Apache Iceberg om enkele van deze uitdagingen in moderne dataplatforms als deze aan te pakken?

Justin Borgman:

Dus er is het concept van versionering en time travel doen en in staat zijn om te zien hoe data geëvolueerd is binnen ons platform. We hebben ook data lineage, data quality metrics toegevoegd die we in staat zijn vast te leggen en aan onze gebruikers te presenteren zodat je echt kunt begrijpen waar die data vandaan komt, hoe het geëvolueerd is, hoe het geïtereerd is en die zichtbaarheid weer uiteindelijk aan de eindgebruiker bieden.

Dinesh Chandrasekhar:

Oké. Dan met Trino, je sprak over hoe je diverse databronnen kunt combineren en joint querying kunt doen en al dat. Beweegt de architectuur meer naar een gecentraliseerde databron of datastore, of houdt het ze waar ze zijn, maar biedt de mogelijkheid om ze te combineren en de zichtbaarheid te geven voor consumenten? Wat is de end-state architectuur waar we naar kijken?

Justin Borgman:

Ja, geweldige vraag. Er zijn elementen van beide, en ik denk dat dat wat het altijd lastig maakte voor ons om zelfs onze eigen value proposition te articuleren omdat mensen gewend zijn aan één model en één frame of mind, wat is centraliseer alles in een traditionele data warehouse of je hebt gewoon geen toegang tot het. En ik denk dat de manier waarop we de wereld zien evolueren is dat er een centrale repository gaat zijn wat ongetwijfeld een data lake is, die de meerderheid van de data gaat opslaan of zoveel mogelijk van de data omdat je economische voordelen gaat krijgen, je gaat prestatievoordelen krijgen van zoveel mogelijk opslaan in iceberg-formaten in je lake. Dus we denken dat dat een geweldige strategie is voor veel van je data, maar we denken ook dat er altijd use cases gaan zijn waar je uit gaat steken naar een andere databron.

Misschien is het exploratieve analytics. Ik heb net een hypothese die ik wil gaan testen die ik denk heel groot kan zijn voor ons bedrijf, maar ik wil niet alle ETL-pijplijnen ontwikkelen en door al dat proces gaan gewoon voor een idee, gewoon voor een gok die ik heb. Nou, dat is een geweldig use case waar het in staat zijn om een tabel die ergens anders leeft te joinen met wat je hebt een game changer is. Het zou je eigenlijk in staat stellen om die hypothese in kwestie van minuten te testen in plaats van weken om de teams de data te laten verplaatsen op een manier die je nodig zou hebben. En dus denk ik dat beide waardevol zijn, maar we denken ervan als meerderheid in de lake en dan verder reiken dan die lake is de manier waarop we erover nadenken.

Dinesh Chandrasekhar:

Dus als ik een derde-partij enterprise ben die, laten we zeggen, op zoek is naar modern data platform, wat zijn enkele van de kritische prestatie-overwegingen die ik in mijn checklist wil hebben als ik kijk naar Trino versus een boel andere alternatieven? Dan is mijn prioriteit laten we zeggen, real-time data queries hanteren, ervoor zorgen dat er lage latentie is en dingen als die. Dus dat zijn mijn eisen. Wat zijn enkele van de overwegingen die ik in mijn checklist wil hebben?

Justin Borgman:

Ja. Nou, de top twee adviezen die ik zou geven zijn, nummer één, gebruik echte queries die je daadwerkelijk gebruikt. Ik denk dat het heel veelvoorkomend is voor mensen om industry benchmarks te gebruiken, en dat is prima als misschien een heel eerste stap, maar het gaat niet reflecteren op jouw workloads. Het is gewoon nooit. Elk bedrijf heeft hun eigen dingen die ze proberen te doen. Dus het is altijd het beste om je end state zo goed mogelijk te simuleren.

En dat betekent je eigen queries en je eigen data benutten terwijl je je eigen proof of concept samenstelt en benchmarking doet. Je moet echt nooit uitsluitend vertrouwen op andere vendors benchmarks. Zelfs niet op de onze. We hebben ze, je kunt ze bekijken, maar je moet dit echt zelf testen met je eigen queries en je eigen data.

Het tweede ding dat ik zou zeggen is ook zorgen dat je schaal simuleert en schaal is belangrijk omdat dit waar we tenminste enkele van onze eigen kansen met klanten vinden om laten we zeggen een vendor te vervangen die ze hebben gekocht, waar in het POC-proces, ze dachten die vendor voldoon aan hun behoeften, maar naarmate ze naar echte productieschaal kwamen, het gewoon niet kon aan.

En dit is waar ik denk dat er ook een geweldig voordeel is van het benutten van open source technologieën als Trino, die zijn bewezen op de grootste schaal voorstelbaar, als Apple het draait op insane schaal, duidelijk Facebook insane schaal. Dus dit kan werken. Het werkt op die schaal. Dat zou je wat peace of mind moeten geven. Maar zelfs nog, zou ik zeggen, simuleer het zelf in je eigen benchmarkproces om echt te waarborgen dat deze verschillende technologieën gaan voldoen aan de behoeften die je in productie hebt. Cool.

En dan misschien het derde deel dat ik toevoeg is kost. Kost is ook zo belangrijk, toch? Kost en prestaties zijn eigenlijk gewoon twee kanten van dezelfde munt. En je moet dat meerekenen in je benchmarking ook, toch? Je gaat niet gewoon de snelste kiezen. Je wilt de beste cost performance kiezen. En dus is het een belangrijk onderdeel ook.

Dinesh Chandrasekhar:

Ik ben het ermee eens. Ik denk dat dat een majeure checklist-item is voor veel mensen die oplossingen evalueren daarbuiten zeker. Dus misschien laten we dit afsluiten vanuit een trends-perspectief. Ik wil je gewoon vragen, er is veel gaande in de data-ruimte vandaag, toch? Er zijn data warehouse vendors, lakehouse vendors, data lake vendors, en verschillende alternatieven, real-time analytics databases en wat niet.

De keuzes zijn zeker wijd en verwarrend voor de koper. Dus vanuit een emerging trends-perspectief, zie je een soort convergentie gebeuren als het aankomt op real-time data-verwerking, de data lakehouse-architecturen waar we net over spraken, en het open source ecosystem in het algemeen? Is er een soort convergentie die je ziet gebeuren die het duidelijker zal maken voor de koper in de nabije toekomst?

Justin Borgman:

Ik wel. Ik denk dat we beginnen heel populaire patronen te zien die heel vaak ontstaan in de internet, hyperscalers en dan vertalen naar de enterprise over tijd. En ik denk dat we nu op dat punt zijn waar het zijn weg vindt naar de enterprise. En de patronen die ik zie zijn het benutten van technologieën als Kafka voor het streaming-gedeelte. En natuurlijk heb je daar meerdere keuzes. Je kunt Confluent doen, je kunt Amazon's versie doen. Je hebt keuze in al deze open source platforms, wat geweldig is. Ik denk Iceberg zeker, voor het formaat om je data op te slaan, dat lijkt me de veiligste wed die je mogelijk kunt maken. En dan aan de engine-kant, weer, de juiste engine vinden voor het juiste werk. Ik denk als het SQL Analytics is, zouden we zeggen Trino en Starburst zijn de beste wed, maar je moet dat jezelf bewijzen.

Als je een machine learning model traint, zou je waarschijnlijk Spark daarvoor gebruiken. En dat zijn de patronen die we zien. Ik denk dat al die vier technologieën ongelooflijk populair zullen zijn in open-source-afgeleide data-architecturen voor jaren te komen. En weer, open source geeft je die flexibiliteit om componenten over tijd te mixen en matchen, wat je architectuur de tand des tijds laat doorstaan. En ik denk dat dat echt wat je wilt doen is, geen technical debt creëren dat je 10 jaar van nu echt lastig gaat zijn te vervangen. En open source geeft je die flexibiliteit.

Dinesh Chandrasekhar:

Hou van dat punt. Dank je. Ik denk dat we dit moeten afsluiten met die geweldige noot. Justin, dank je wel voor je deelname vandaag. Ik denk dat het een geweldig gesprek was om meer te begrijpen over Trino en Iceberg en hoe Starburst dit fantastische platform aanbiedt dat het beste van beide werelden in jullie platform combineert. Dank je wel en waardeer je deelname.

Justin Borgman:

Dank je, Dinesh. Het was mijn plezier.