Decart lanceert Oasis3:een realistisch wereldmodel met lage latentie voor robotica-training

Frontier AI-onderzoekslaboratorium Decart heeft Oasis3 geïntroduceerd, een wereldmodel dat is ontworpen om de kloof tussen synthetische simulatie en echte AI-implementatie te dichten.

De video-output engine, die deze maand werd onthuld, versnelt de training van robot- en autonome voertuigbesturingssystemen, waardoor ze kunnen gedijen te midden van onvoorspelbare reële omstandigheden.

Robotica-ontwikkelaars worden geconfronteerd met een tekort aan gegevens van hoge kwaliteit die nodig zijn om systemen te trainen die door complexe, reële omgevingen kunnen navigeren.

Terwijl een voertuig kan leren manoeuvreren op een statische parkeerplaats met vaste verkeerskegels, biedt de openbare weg een veel veeleisender omgeving waar het weer, de verlichting en dynamische obstakels voortdurend variëren.

Trainingssystemen om de chaos van stedelijke straten aan te kunnen (zware regen, plotselinge obstakels, grillig verkeer) vertegenwoordigen een duidelijke uitdaging die Oasis3 aangaat.

Het knelpunt in de robotica-training

Grote taalmodellen (LLM's) hebben een grote vlucht genomen, maar robotica voor algemene doeleinden (of fysieke AI) zijn achtergebleven, grotendeels als gevolg van een tekort aan rijke mediabronnen.

Bessemer Ventures merkte op dat LLM-ontwikkelaars profiteren van het schrapen van miljarden openbare webpagina's, een luxe die niet beschikbaar is voor Vision-Language-Action (VLA)-modellen die binnen fysieke ruimtes moeten interpreteren en handelen.

VLA-modellen nemen milieugegevens op, verwerken deze en reageren vervolgens. Het trainen van hen biedt drie primaire paden:

• Teleoperatie —menselijke operators bootsen robotacties na in een gecontroleerd pak. Hoewel het data van de hoogste kwaliteit oplevert, is het onbetaalbaar en traag, waardoor grootschalige implementatie onpraktisch is.
• Openwebvideo's —direct beschikbaar maar rommelig, zonder consistente omgevingen, ruimtelijke telemetrie en directe actieconditionering.
• Synthetische gegevens – een middenweg, maar de huidige natuurkunde-engines schieten tekort in de nuance in de echte wereld, wat leidt tot de zogenaamde sim-to-real kloof .

Die kloof manifesteert zich wanneer de willekeur in de echte wereld – olielekken, fragiele verpakkingen, onverwacht puin – autonome systemen uit balans brengt en hun beperkingen blootlegt.

De kloof dichten met gesloten, generatieve simulaties

Decart beweert dat Oasis3 bestaande virtuele trainingslimieten overbrugt door fotorealistische bewegende beelden te combineren met een robuuste fysica-engine.

Oasis3, ingebed in een enkele, hoogwaardige trainingslus, produceert actiegeconditioneerde videostreams die vrijwel elk chaotisch scenario kunnen genereren dat ontwikkelaars zich voorstellen, waardoor een trainingsomgeving wordt gecreëerd die de werkelijkheid nauw weerspiegelt.

Het platform ondersteunt multiview, ultrarealistische omgevingen die volledig beheersbaar zijn; De laterale afwijking van een zelfrijdende auto veroorzaakt een generatieve stroom die de perspectieven in minder dan 200 ms aanpast, ruim binnen de vereisten voor versterkend leren.

Oasis3 is ontworpen in samenwerking met het fysieke AI-ecosysteem van Nvidia en draait op de gespecialiseerde cloudinfrastructuur van CoreWeave met 22 fps, waardoor interactieve virtuele omgevingen worden geleverd met een resolutie van 512×768×3.

Het biedt een native weergave met drie camera's om de ruimtelijke en temporele consistentie vanuit meerdere hoeken te behouden, waardoor autonome systemen de diepte en de perifere context nauwkeurig kunnen meten.

Oasis3 is toegankelijk via de API van Decart, waardoor ontwikkelaars deze naadloos kunnen integreren in hun bestaande fysieke AI-simulatiepijplijnen.

Robots trainen om onbekend terrein te veroveren

Om humanoïden op sciencefictionniveau te bereiken, zijn robots nodig die unieke randgevallen in realtime kunnen beheren:situaties die onmogelijk in een laboratorium kunnen worden gerepliceerd, zoals een lading die op de weg valt terwijl de camera van een autonoom voertuig aan het zicht wordt onttrokken door modder.

Oasis3 stelt ontwikkelaars in staat om oneindige variaties van dergelijke gebeurtenissen te creëren met behulp van eenvoudige aanwijzingen in natuurlijke taal, vanuit verschillende hoeken, weersomstandigheden en wegoppervlakken.

Door modellen op een betaalbare manier bloot te stellen aan miljoenen gevaren, kunnen ontwikkelaars ervoor zorgen dat ze klaar zijn voor elk plausibel scenario in de echte wereld.