Neoclouds uitgelegd:waarom AI GPU-gerichte cloudcomputing nodig heeft

AI-workloads worden mainstream in vrijwel elke branche. Maar naarmate de vraag naar AI groeit, neemt ook de druk op de infrastructuur toe. Helaas schieten de traditionele opties voor toegang tot high-performance computing tekort, waardoor bedrijven op zoek gaan naar alternatieven. Sommigen wenden zich tot neoclouds, een nieuw type computerserviceprovider die zich richt op GPU-gerichte aanbiedingen.

Deze nieuwe aanbieders winnen aan belangstelling als gevolg van een verschuiving in computergebruik; een die wordt gekenmerkt door een groeiende afhankelijkheid van GPU’s voor AI. Hoewel GPU's zeer geschikt zijn om te voldoen aan de parallelle verwerkingsbehoeften van AI-training en -inferentie, zijn ze notoir duur en schaars. Een high-end GPU kan tienduizenden dollars kosten, en dat is alleen als een bedrijf er een kan vinden. Inkoopcycli zijn lang, doorlooptijden zijn onvoorspelbaar en IT-teams van ondernemingen hebben vaak moeite om voldoende capaciteit te verwerven om aan de vraag te voldoen.

Grootschalige cloudproviders, zoals AWS, Google Cloud en Azure, hebben geprobeerd het gat te dichten door GPU-instances en GPU's als een service aan te bieden. Voor veel organisaties werkt dit model, maar slechts tot op zekere hoogte.

Cloudgebaseerde GPU-instances bieden flexibiliteit, schaalbaarheid en snelle implementatie. Maar naarmate het gebruik groeit, groeit ook de rekening. Het pay-as-you-go-model wordt op grote schaal al snel te duur, vooral als het gaat om langdurige workloads, zoals training in grote taalmodellen (LLM), verfijning of realtime gevolgtrekking tussen bedrijfsapplicaties.

Als gevolg hiervan zitten veel organisaties gevangen tussen een rots (schaarse en dure infrastructuur op locatie) en een harde plek (hoge GPU-kosten voor de publieke cloud).

Ga naar Neoclouds

In deze omgeving ontstaat er een nieuwe categorie computerproviders:de neocloudprovider. Neocloud-infrastructuuraanbieders bieden krachtige rekenkracht, sterk gericht op GPU's, tegen meer betaalbare tarieven (althans volgens hen). Ze bereiken dit door gebruik te maken van onconventionele oorsprongen, nieuwe economische modellen en verschillende infrastructuurstrategieën.

Sommige neoclouds traceren hun wortels bijvoorbeeld in de mijnbouw van cryptocurrency. Tijdens de hausse op het gebied van cryptocurrency van het afgelopen decennium hebben duizenden mijnwerkers over de hele wereld datacenters gebouwd die zijn uitgerust met GPU-servers die zijn geoptimaliseerd voor mijnbouwactiviteiten. Toen de cryptocurrency-markt afkoelde en mijnbouw minder winstgevend werd, kwamen deze operators met grote hoeveelheden inactieve GPU-capaciteit te zitten. In plaats van deze hardware in een magazijn te laten afwaarderen, hergebruikten sommigen hun apparatuur voor AI-workloads, en zo werd de neocloud geboren.

Anderen in de ruimte zijn speciaal gebouwde startups die een kans zagen om een kosteneffectiever alternatief voor de hyperscalers te bieden door te optimaliseren voor prijs-prestatie en de overhead van oudere cloudactiviteiten te omzeilen. Sommige bouwen voort op open-source softwarestacks en bevinden zich in goedkope datacenters; anderen bundelen overtollige GPU-capaciteit over gedecentraliseerde netwerken en vormen zo een soort ‘GPU-spotmarkt’ waar bedrijven tegen lagere kosten gebruik van kunnen maken.

Voordelen van het Neoclouds-model

Voor bedrijven die op zoek zijn naar AI-rekenkracht zonder de exorbitante kosten, beweren neocloud-providers dat ze verschillende voordelen kunnen bieden, waaronder:

Lagere kosten per GPU-uur :Neoclouds rekenen vaak een fractie van wat hyperscalers doen voor vergelijkbare GPU-instances. Ze beweren dat hun gestroomlijnde bedrijfsmodellen en strategieën voor hergebruik van hardware zich vertalen in echte besparingen.

Speciale toegang :In veel gevallen bieden neocloud-providers speciale bare metal-toegang tot GPU's, waardoor de conflicten worden verminderd en voorspelbare prestaties worden gegarandeerd.

Snelle beschikbaarheid :Met flexibele inkoop- en provisioningprocessen beweren neocloud-providers dat ze vaak veel sneller capaciteit kunnen leveren dan traditionele leveranciers, waardoor teams zonder vertraging AI-modellen kunnen itereren en implementeren.

Decentralisatie en veerkracht :Sommige neoclouds werken op gedistribueerde modellen en betrekken rekenkracht uit geografisch diverse datacenters of netwerken van onafhankelijke operators.

Duurzaamheid :Het hergebruiken van bestaande hardware, met name uit de cryptocurrency-industrie, vermindert e-waste en bevordert duurzamere IT-praktijken. Sommige neo-clouds bevinden zich ook in faciliteiten die worden aangedreven door hernieuwbare energie, waardoor de ecologische voetafdruk verder wordt verlaagd.

Zie ook: GPU-marktverschuiving:profiteren van de val van cryptomining

GPU's-as-a-Service, opnieuw ontworpen

In de kern vertegenwoordigen neoclouds een nieuwe kijk op het GPU-as-a-Service-model. Bedrijven die als neocloud-providers worden beschouwd, zijn onder meer CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai en anderen.

Ze zijn minder gefocust op het bundelen van GPU's met eigen services en zijn meer geïnteresseerd in het leveren van ruwe, krachtige rekenkracht tegen een prijs die grootschalige AI voor meer bedrijven haalbaar maakt.

Door de toegang tot betaalbare GPU’s te democratiseren, denken neocloud-providers dat ze de toetredingsdrempel kunnen verlagen voor bedrijven die AI-applicaties willen bouwen of schalen. Kleine startups kunnen aangepaste modellen trainen zonder hun startkapitaal op te branden. Bedrijven kunnen LLM's afstemmen op hun bedrijfseigen gegevens zonder de controle uit handen te geven of te veel geld uit te geven. En onderzoeksinstellingen kunnen simulaties en experimenten uitvoeren zonder beperkt te worden door budgetbeperkingen.

Ondanks deze voordelen zullen neocloud-providers in de nabije toekomst waarschijnlijk concurreren met hyperscalers op de GPU-as-a-Service-markt. Die markt werd in 2023 gewaardeerd op 3,23 miljard dollar en zal naar verwachting groeien tot 49,84 miljard dollar in 2032, wat volgens Fortune Business Insights een groeipercentage van 36% betekent. (Deze schatting omvat zowel hyperscalers als neoclouds.)

Laatste gedachten

De rekenvereisten voor AI blijven groeien. Neocloud-providers zijn een nieuwe generatie AI-gerichte cloudinfrastructuurproviders die aan deze behoeften willen voldoen. Ze onderscheiden zich van traditionele hyperscalers (zoals AWS, Azure en GCP) door zich onder andere te concentreren op geoptimaliseerde GPU-beschikbaarheid, flexibele prijzen en gespecialiseerde prestaties voor AI/ML-workloads.