Ambarella introduceert AI-aangedreven SoCs voor multi-sensor videostromen

Ambarella, een toonaangevend beeldverwerkingsbedrijf, heeft twee nieuwe system-on-chip (SoC)-oplossingen aangekondigd die hoge-resolutie videovervanging combineren met geavanceerde kunstmatige-intelligentie (AI)-verwerking. Ontworpen voor beveiligingscamera's en slimme-stad-implementaties, leveren de CV5S en CV52S 4K-video-encoding en gesofistikeerde AI-taken zoals gezichts- en kentekenherkenning.

De CV5S richt zich op multi-sensor-camerasystemen, die tot vier 8-megapixel (8MP) feeds – equivalent aan 4K-resolutie – aan 30 frames per seconde (fps) elk aan kan. Het kan 14 afzonderlijke videostromen gelijktijdig verwerken, met real-time AI op elke 4K-frame. Vergeleken met Ambarella's vorige generatie, verdubbelt de CV5S zowel encoding-resolutie als geheugenbandbreedte terwijl het stroomverbruik met 30% vermindert. Het werkt onder 5W en levert 12 eTOPS (een Ambarella-metriek voor GPU-equivalente prestaties).

De CV52S is geoptimaliseerd voor single-sensor-camera's en ondersteunt 4K-resolutie bij 60fps. Het biedt viervoudige AI-prestaties, dubbele CPU-doorvoer, en 50% meer geheugenbandbreedte ten opzichte van eerdere modellen. Consumerend onder 3W, levert het 6 eTOPS berekeningsvermogen.

Beide SoCs zijn gebouwd op Ambarella's 5nm-proces en hebben een uitgebreide CVflow AI-accelerator, wat efficiënte convolutie en andere diep-leren operaties mogelijk maakt. "Alleen een AI-accelerator hebben is niet genoeg; de gehele imaging-pipeline moet harmonieuzen werken," zei Jerome Gigot, Ambarella's senior director of marketing. "Onze geïntegreerde ISP, geheugencontroller, en software-stack stellen ons in staat om data in-place te houden, dure kopieën te elimineren, en laagstroom, hoogwaardige videoverwerking te bereiken."

Naast de CVflow-engine bevat elke SoC Ambarella's langdurige image signal processor (ISP), die kleurcorrectie, auto-expositie, auto-witbalans, en ruisfiltering afhandelt. Gigot benadrukte de ISP's 16-jarige ontwikkelgeschiedenis, wat de diepgang van integratie benadrukt die nieuwe deelnemers typisch missen.

De AI-accelerator is een vector-processor die convolutionele neurale netwerken (CNNs) en klassieke computer-vision-algoritmes kan versnellen. Het ondersteunt sparsificatie – wegnemen van nabij-nul coëfficiënten – om berekeningsbelasting met tot 80% te reduceren. Na een korte heropleidingsfase herwinnen modellen nauwkeurigheid binnen 1% van de oorspronkelijke, terwijl de modelgrootte vijfvoudig kan inkrimpen.

Met zijn vermogen om tot 14 onafhankelijke videostromen aan te kunnen, kan de CV5S meerdere neurale netwerken gelijktijdig draaien. Gigot legde uit dat de CVflow-engine time-multiplexing en parallelle paden gebruikt, wat efficiënte operatie over verschillende netwerken mogelijk maakt zonder de noodzaak voor batch-verwerking typisch voor GPU's.

Beide CV5S en CV52S gaan in oktober 2021 in sampling.

De CV52S richt zich op single-sensor-ontwerpen zoals verkeersmonitoring en andere slimme-stad-toepassingen (Bron: Ambarella)

De CV5S SoC voor multi-sensor-camerasystemen bevat de nieuwste generatie van Ambarella's CVflow AI en computer-vision-accelerator (Bron: Ambarella)

Jerome Gigot (Bron: Ambarella)

Voor verdere details, zie de oorspronkelijke publicatie op EE Times.

Gerelateerde Inhoud:

• AI vision-processor maakt 8K-video bij 30fps onder 2W mogelijk
• Ambarella richt zich op intelligente edge-sensing met nieuwe camera-SoC
• FPGA's verdringen ASICs in Subaru Eyesight vision-gebaseerde ADAS
• Arm voegt CPU, GPU en ISP toe voor autonom en vision-veiligheid
• Laagstroom AI-vision-board duurt 'jaren' op enkele batterij

Voor meer Embedded-inhoud, abonneer je op Embedded's wekelijkse e-mail-nieuwsbrief.