AI-enabled SoC's verwerken meerdere videostreams

Ambarella lanceert twee apparaten voor computervisie en AI-verwerking van meerdere of enkele ingangen in beveiligingscamera's en smart city-systemen.

Beeldverwerkingsspecialist Ambarella heeft twee nieuwe SoC's gelanceerd voor beveiligingscamera's met één en meerdere sensoren, elk met nieuwe AI-mogelijkheden die mogelijk worden gemaakt door de CVflow AI-versnellermotor van het bedrijf. Beide ondersteunen 4K-videocodering en geavanceerde AI-verwerking zoals gezichtsherkenning of kentekenherkenning.

De CV5S SoC is gericht op camerasystemen met meerdere sensoren en codeert vier beeldkanalen met een resolutie tot 8 MP/4K, elk met 30 frames per seconde (fps), terwijl geavanceerde AI wordt uitgevoerd op elke 4K-beeldstroom. Het kan tot 14 inputs aan. De SoC-familie verdubbelt de coderingsresolutie en geheugenbandbreedte van Ambarella's vorige generatie producten en verbruikt 30 procent minder stroom. Het verbruikt <5W en biedt 12 eTOPS (GPU-equivalent TOPS, Ambarella's maatstaf voor de hoeveelheid GPU-pk die nodig is om dezelfde AI-verwerkingstaken uit te voeren).

De andere nieuwe SoC, CV52S, is gericht op camera's met één sensor en ondersteunt 4K-resolutie bij 60 fps. In vergelijking met eerdere generaties Ambarella SoC's verviervoudigt dit nieuwe apparaat de AI-prestaties, verdubbelt de CPU-doorvoer en biedt het 50 procent meer geheugenbandbreedte. Het verbruikt <3 W en levert 6 eTOPS.

De prestatieverbetering komt voort uit migratie naar het 5-nm-procesknooppunt, samen met verbeteringen aan - en uitbreiding van - Ambarella's interne CVflow AI-versnellerblok.

"Je ziet al deze startups overal vandaan komen en zeggen dat ze de beste AI-prestaties per watt hebben, en misschien hebben ze gelijk", zegt Jerome Gigot, senior marketingdirecteur van Ambarella. “Maar dat maakt nog geen camera, dat maakt nog geen product. Als je alleen een AI-versneller hebt, heb je gewoon een AI-versneller.”

Gigot merkte op dat een beeldverwerkingspijplijn voor 4K- of 8K-video complex is, een grote hoeveelheid gegevens verwerkt, grote gegevensvolumes codeert, die gegevens overbrengt naar een speciaal blok voor AI-verwerking, terwijl er waarschijnlijk een Linux-stack bovenop wordt uitgevoerd. Dat is moeilijk te bereiken met een laag stroomverbruik en met behoud van de videokwaliteit.

De CV52S is gericht op ontwerpen met één sensor zoals die worden aangetroffen in verkeersmonitoring en andere slimme stadstoepassingen (Bron:Ambarella)

Naast de CVflow AI-versneller bevatten beide nieuwe SoC's Ambarella's beeldsignaalprocessor (ISP) die functies als kleurverwerking, automatische belichting, automatische witbalans en ruisfiltering afhandelt.

"Dit blok hebben we 16 jaar ontwikkeld", zegt Gigot. “Daarom denken we dat startups nog een lange weg te gaan hebben. Ze zouden [een ISP-blok van elders] een licentie kunnen geven, maar dan is het niet echt geïntegreerd met de rest van het systeem wat betreft geheugentoegang en al het andere."

Het geheugensysteem is een van de belangrijkste IP-adressen van het bedrijf.

“We hebben één geheugencontroller, en we orkestreren het hele ding zodat we data op de chip krijgen. We proberen geen kopieën te maken', zei Gigot. "We verplaatsen wijzers, we verplaatsen geen gegevens. Dat is alleen mogelijk als je de hele architectuur vanaf nul ontwerpt en precies weet wat de chip gaat doen.”

Acceleratiemotor

De AI-versneller is een vectorprocessor die convolutie en andere veelvoorkomende AI-functies kan versnellen, of kan worden gebruikt voor klassieke computervisie-workloads. Gebruikers kunnen er ook voor kiezen om delen van een neuraal netwerk uit te voeren (zoals sorteeralgoritmen in een single-shot detectornetwerk) of via een on-chip dual-core Arm Cortex-A76 CPU.

Met de softwarestack kunnen toepassingen profiteren van coëfficiëntsparsity, een techniek waarbij netwerkcoëfficiënten met waarden die dicht bij nul liggen, naar beneden worden afgerond op nul. De aanpak kan hele "takken" van berekeningen van het algoritme "snoeien" om de computervereisten enorm te verminderen.

Sparsificatie "is een echt effectieve techniek voor ons, want als er een nulcoëfficiënt is, doen we de bewerking niet in onze architectuur, we hebben een skip [functie]", zei hij. “Dus we berekenen het resultaat niet voor die coëfficiënt. Het kost ons vrijwel nul cycli.”

Het proces identificeert typisch 50 tot 80 procent van de coëfficiënten als doelen voor sparsificatie, zei Gigot. Na sparsificatie is meestal een kleine bijscholing nodig om de tijdens het proces verloren voorspellingsnauwkeurigheid terug te krijgen. Volgens Gigot kan omscholing de nauwkeurigheid meestal binnen 1 procent van het oorspronkelijke model brengen - een acceptabele afweging voor de meeste klanten, vooral gezien tot 5-voudige modelafname. Ambarella werkt ook aan sparsificatie- en kwantisatietools die meer architectuurbewust zijn.

klik voor afbeelding op volledige grootte

De CV5S SoC voor multi-sensor camerasystemen omvat de nieuwste generatie Ambarella's CVflow AI en computer vision accelerator (Bron:Ambarella)

Zullen klanten, met de mogelijkheid om tot 14 videostreams te accepteren en vervolgens tegelijkertijd AI op die streams uit te voeren, meerdere neurale netwerken tegelijk gebruiken? Is er een soort multiplexschema nodig?

Jerome Gigot (Bron:Ambarella)

Ja op beide, antwoordde Gigot. “De CVflow is een zeer snelle vectormotor, een zeer snelle convolutiemotor. Alles is tijd-gemultiplext. We hebben verschillende paden in hardware, zodat we bewerkingen kunnen parallelliseren, maar we binden het niet aan een specifiek netwerk [dat] totaal anders is dan batchverwerking op een GPU."

Batchverwerking, een techniek die vaak wordt gebruikt door grote GPU's, groepeert afbeeldingen en verzendt ze om parallel te worden verwerkt. Voor GPU's zijn al andere parameters geladen. Die aanpak verlaagt de computerkosten doordat er niet tussen bewerkingen hoeft te worden gewisseld.

Voor kleinere motoren zoals CVflow, moeten grotere neurale netwerken worden opgedeeld in brokken om te worden verwerkt, omdat het geheugen van de chip niet alle parameters tegelijk kan opslaan. Opeenvolgende brokken kunnen afkomstig zijn van hetzelfde neurale netwerk, of een ander netwerk, of een andere kanaalinvoer. Typisch hardwaregebruik op CVflow is tussen de 70 en 80 procent, zei Gigot, eraan toevoegend dat het wisselen van netwerken/kanalen geen invloed heeft op de efficiëntie.

De CV5S en CV52S zullen naar verwachting in oktober 2021 beginnen met bemonsteren.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Tijden.

---

Verwante inhoud:

• AI vision-processor maakt 8K-video mogelijk met 30 fps in minder dan 2 W
• Ambarella richt zich op intelligente edge-sensing met nieuwe camera-SoC
• FPGA's verdringen ASIC's in op Subaru Eyesight gebaseerde ADAS
• Arm voegt CPU, GPU en ISP toe voor autonome en visuele veiligheid
• Low power AI vision board gaat 'jaren' mee op één batterij

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.