Edge AI-platforms verslaan GPU/CPU op het gebied van prestaties en efficiëntie

Blaize biedt wat het een doorbraak in kunstmatige intelligentie (AI) computerhardware en -software voor edge AI-toepassingen noemt en het overwinnen van legacy GPU/CPU-beperkingen, en heeft nieuwe embedded en acceleratorplatforms aangekondigd, Pathfinder en Xplorer die 'codevrije' edge AI-ontwikkeling mogelijk maken .

De platforms zijn gebouwd op de Blaize Graph Streaming Processor (GSP)-architectuur. Volgens het bedrijf kan GSP met 16 GSP-kernen en 16TOPS AI-inferentieprestaties binnen een 7W-vermogensenvelop tot 60x betere efficiëntie op systeemniveau leveren in vergelijking met GPU/CPU's voor edge AI-toepassingen. Het maakt ook 50x minder geheugenbandbreedte en 10x lagere latentie mogelijk. De Blaize GSP is een 100% programmeerbare processor en beschikt over geavanceerde mogelijkheden zoals multi-threading en streaming.

Blaize zei dat zijn early access-klanten voor Pathfinder en Xplorer op zoek zijn naar productie-implementaties van voorheen onhaalbare real-time AI edge smart vision use-cases voor industriële, automobiliteit, slimme detailhandel, metro en fabriekstoepassingen. De mede-oprichter en CEO van het bedrijf, Dinakar Munagala, zei:"De edge-oplossingen van vandaag zijn ofwel te klein om de belasting te berekenen, ofwel te duur en te moeilijk om te produceren. Blaize AI edge computing-producten overwinnen deze beperkingen van kracht, complexiteit en kosten om de adoptie van AI aan de edge te ontketenen, waardoor de migratie van AI-computing vanuit het datacenter naar de edge wordt vergemakkelijkt.” Edge AI-markten zullen naar verwachting snel groeien, aangezien AI-functionaliteit een vereiste wordt voor veel nieuwe producten. Omdia Research verwacht dat de omzet van AI-chipsets in 2025 $ 51 miljard zal bereiken.

De twee nieuwe producten van Blaize zijn de Pathfinder P1600, een embedded system on module (SOM), en het Xplorer accelerator platform. Blaize zei dat de P1600 de programmeerbaarheid en efficiëntievoordelen van het GSP biedt voor embedded edge AI-applicaties die worden ingezet aan de sensoredge of aan de netwerkrand. Er is geen hostprocessor nodig voor de P1600, dus het is gewoon een kwestie van 'inpluggen en gaan'.

De Xplorer-platforms versnellen AI-applicaties aan de rand van de onderneming via plug-in naar het PCIe-slot in een hostserver of apparaat. De X1600E is een acceleratorplatform met kleine vormfactor voor kleine en energiebeperkte omgevingen zoals gemakswinkels of industriële locaties. Het kan eenvoudig worden toegevoegd om AI-apps op industriële pc's te versnellen of als een kaartenrek in een kleine 1U-server. Of er is de X1600P, een standaard op PCIe gebaseerde versneller in een vormfactor van halve hoogte en halve breedte. De X1600P kan een energieverslindende desktop-GPU in edge-servers vervangen en overal 16-64TOPS AI-inferentieprestaties leveren binnen een zeer laag energieverbruik.

De Blaize AI-softwaresuite is gebouwd op open standaarden met gemakkelijke toegankelijkheid, wat betekent dat productontwikkelaars niet gebonden zijn aan propriëtaire ontwikkelomgevingen. De softwaresuite, bestaande uit de Picasso-softwareontwikkelingskit (SDK) en AI Studio, een volledig codevrije visuele interface, biedt tools voor zowel traditionele ontwikkelaars als niet-codeerdomeinexperts. Bovendien gebruiken beide toolsets Blaize Netdeploy, een Blaize-systeem met edge-aware algoritmen om de beste nauwkeurigheid en prestaties te krijgen voor edge-implementaties.

Proof of concept-klanten

Blaize zei dat het een aantal proof of concept (POC)-klanten heeft die zijn systeem gebruiken om AI aan de rand mogelijk te maken. De toepassingen zijn in:

• Industrieel:vijf onafhankelijke neurale netwerken draaien op 50FPS met een totale latentie van minder dan 100ms die detectie en positie van menselijke en robotposities, product-ID en -telling en productkwaliteit bewaakt.
• Smart City:drie onafhankelijke neurale netwerken met 50FPS die menselijke detectie, pose, positie, automatische detectie en veiligheid en beveiliging van verkeerskruisingen bewaken.
• Sensorfusie:FHD-video met hoge resolutie en lidar/radarsensorfusie als een complete grafische toepassing op Blaize GSP.
• Last mile delivery:sensorfusie van HD-camera's met 30FPS en lidar/radar met een latentie van minder dan 100 ms en een vermogen van minder dan 15 W.
• Detailhandel:vier onafhankelijke neurale netwerken met 50FPS die menselijke detectie, positie, masker en diefstal bewaken voor winkelveiligheid en productdetectie.

Klantvoorbeelden van beide productlijnen zijn nu beschikbaar en de volledige productie wordt vanaf dit jaar verwacht. De Blaize Xplorer X1600E is beschikbaar voor $ 299 in volumehoeveelheid, de Pathfinder P1600 SOM is verkrijgbaar in industriële kwaliteit voor $ 399 in volumehoeveelheid, en de Xplorer X1600P is beschikbaar voor $ 999 in volumehoeveelheden.