Neoclouds Uitgelegd: Waarom AI GPU-Gefocuste Cloud Computing Nodig Heeft

AI-workloads worden mainstream in praktisch elke industrie. Maar naarmate de vraag naar AI groeit, groeit ook de spanning op infrastructuur. Helaas voldoen traditionele opties voor toegang tot high-performance compute niet meer, wat bedrijven dwingt om alternatieven te zoeken. Sommige keren zich toe tot neoclouds, een nieuw type compute-serviceprovider gecentreerd op GPU-gerichte aanbiedingen.

Deze nieuwe providers trekken interesse door een verschuiving in computing; een gekenmerkt door een groeiende afhankelijkheid van GPUs voor AI. Terwijl GPUs goed geschikt zijn om de parallelle verwerkingsbehoeftes van AI-training en inferentie aan te pakken, zijn ze bekenderwijs duur en schaars. Een high-end GPU kan tienduizenden dollars kosten, en dat is alleen als een bedrijf er een kan vinden. Procurement-cycli zijn lang, levertijden onvoorspelbaar, en enterprise IT-teams worstelen er vaak mee om voldoende capaciteit te verkrijgen om vraag te bevredigen.

Hyperscale cloud-providers, zoals AWS, Google Cloud en Azure, hebben geprobeerd de kloof te dichten door GPU-instanties en GPUs-as-a-Service aan te bieden. Voor veel organisaties werkt dit model, maar tot op een punt.

Cloud-gebaseerde GPU-instanties bieden flexibiliteit, schaalbaarheid en snelle implementatie. Maar naarmate het gebruik groeit, groeit de rekening ook. Het pay-as-you-go-model wordt snel kostprohibitief op schaal, met name voor sustained workloads zoals large language model (LLM)-training, fine-tuning of real-time inferentie over enterprise-applicaties.

Als resultaat vinden veel organisaties zich gevangen tussen een rots (schaarse en dure on-premises infrastructuur) en een harde plek (hoge publieke-cloud GPU-kosten).

Neoclouds Treden Binnen

In deze omgeving duikt een nieuwe categorie compute-provider op: de neocloud-provider. Neocloud-infrastructuurproviders bieden high-performance compute, zwaar gecentreerd op GPUs, tegen meer betaalbare tarieven (volgens hen tenminste). Ze bereiken dit door onconventionele oorsprongen, nieuwe economische modellen en verschillende infrastructuurstrategieën te benutten.

Bijvoorbeeld, sommige neoclouds traceren hun wortels terug naar cryptocurrency-mining. Tijdens de cryptocurrency-boom van het laatste decennium bouwden duizenden miners wereldwijd datacenters uitgerust met GPU-geservers geoptimaliseerd voor mining-operaties. Toen de cryptocurrency-marktdaling en mining minder winstgevend werd, vonden deze operators zich met grote hoeveelheden onbenutte GPU-capaciteit. In plaats van deze hardware in een warehouse te laten afwaarden, herbestemden sommigen hun apparatuur voor AI-workloads, en zo werd de neocloud geboren.

Anderen in de ruimte zijn purpose-built startups die een kans zagen om een meer kosteneffectieve alternatief voor de hyperscalers te bieden door te optimaliseren op price-performance en de overhead van legacy-cloud-operaties te omzeilen. Sommige bouwen op open-source-software-stacks en coloceren in lage-kosten datacenters; anderen aggregieren overmaat GPU-capaciteit over gedecentraliseerde netwerken, vormend een soort "GPU-spotmarkt" waar enterprises tegen lagere kosten in kunnen tappen.

Voordelen van het Neoclouds-Model

Voor bedrijven die AI-computekracht zoeken zonder de exorbitante kosten, claimen neocloud-providers dat ze diverse voordelen kunnen leveren, waaronder:

Lagere Kosten per GPU-uur: Neoclouds rekenen vaak een fractie van wat hyperscalers doen voor vergelijkbare GPU-instanties. Ze claimen dat hun lean-operatiemodellen en hardware-hergebruikstrategieën vertalen naar echte besparingen.

Toegewezen Toegang: In veel gevallen bieden neocloud-providers toegewijde bare-metal-toegang tot GPUs, wat contention reduceert en voorspelbare prestaties waarborgt.

Snelle Beschikbaarheid: Met flexibele procurement- en provisioning-processen claimen neocloud-providers dat ze vaak capaciteit veel sneller kunnen leveren dan traditionele vendors, wat teams helpt om AI-modellen te itereren en implementeren zonder vertraging.

Decentralisatie en Veerkracht: Sommige neoclouds opereren op gedistribueerde modellen, sourcend compute uit geografisch diverse datacenters of netwerken van onafhankelijke operators.

Duurzaamheid: Herbestemming van bestaande hardware, met name uit de cryptocurrency-industrie, vermindert e-waste en bevordert duurzamere IT-praktijken. Sommige neoclouds coloceren ook in faciliteiten aangedreven door hernieuwbare energie, wat de koolstofvoetafdruk verder verlaagt.

Zie ook: GPU-Marktverschuiving: De Val van Crypto-mining Benutten

GPUs-as-a-Service, Heruitgevonden

In hun kern vertegenwoordigen neoclouds een frisse blik op het GPU-as-a-Service-model. Bedrijven die als neocloud-providers beschouwd worden, omvatten CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai en anderen.

Ze zijn minder gefocust op het bundelen van GPUs met proprietaire services en meer geïnteresseerd in het leveren van rauwe, high-performance compute tegen een prijspunt dat grootschalige AI haalbaar maakt voor meer bedrijven.

Door toegang tot betaalbare GPUs te democratiseren, geloven neocloud-providers dat ze de drempel voor bedrijven die willen bouwen of schalen AI-applicaties kunnen verlagen. Kleine startups kunnen custom modellen trainen zonder hun seed-funding te verbranden. Enterprises kunnen LLMs fine-tunen op hun proprietaire data zonder controle af te staan of te overspenden. En onderzoeksinstituten kunnen simulaties en experimenten draaien zonder gelimiteerd te worden door budgetconstraints.

Ondanks deze voordelen zullen neocloud-providers waarschijnlijk de nabije toekomst concurreren met hyperscalers in de GPU-as-a-Service-markteplaats. Die markt werd gewaardeerd op $3,23 miljard in 2023 en wordt verwacht te groeien tot $49,84 miljard in 2032, wat een groeivoet van 36% vertegenwoordigt, volgens Fortune Business Insights. (Die schatting omvat zowel hyperscalers als neoclouds.)

Slotgedachten