AI vision-processor maakt 8K-video mogelijk met 30 fps in minder dan 2 W

Ambarella gebruikt CES 2021 als het lanceringsplatform en heeft zijn vijfde generatie kunstmatige intelligentie (AI) vision-processorsysteem op chip (SoC) aangekondigd, waarvan het zei dat het een nieuwe standaard zet voor energie-efficiëntie. De CV5 AI vision CVflow-processor, gefabriceerd in een geavanceerd Samsung 5nm-proces, maakt codering van volledige 8K-video met 30 frames per seconde in minder dan 2 watt mogelijk, wat belangrijk is voor intelligente camerasystemen in auto-, consumenten- (inclusief drones) en robotcamera's.

De nieuwe CV5 combineert Ambarella's CVflow AI-engine met dual Arm A76 CPU's om de prestaties te leveren die nodig zijn voor een breed scala aan AI-gebaseerde algoritmen. De beeldsignaalprocessor (ISP) maakt invoer van maximaal 14 camera's mogelijk en kan tegelijkertijd beelden verwerken voor zowel menselijke weergave als machinale verwerking. In een briefing met embedded.com zei Chris Day, vice-president marketing en business development bij Ambarella:"Dit is onze vijfde generatie beeldprocessors, met aparte verwerking voor video en AI. Het is de eerste 5nm-chip die een laag stroomverbruik mogelijk maakt, wat van cruciaal belang is voor veel toepassingen, en vooral in sportcamera's."

Hij voegde eraan toe:"We werken nauw samen met de Samsung-fabriek en hebben een van de beste VLSI-ontwerpteams in de branche. Dit betekent dat we een goede vroege toegang hebben tot de procesbibliotheken als gevolg van onze nauwe werkrelatie met Samsung.”

In auto-videotelematicatoepassingen biedt CV5 de prestaties die nodig zijn om meerdere videostreams van geavanceerde rijhulpsystemen (ADAS), bestuurderbewaking, cabinebewaking en zijzichtcamera's te coderen. De CVflow AI-engine kan gelijktijdig ADAS-algoritmen uitvoeren, zoals het verlaten van de rijstrook en waarschuwing voor voorwaartse botsingen, evenals algoritmen voor het bewaken van de bestuurder, zoals detectie van slaperige bestuurders. De combinatie van video-opname met hoge resolutie met geavanceerde AI-verwerking stelt ADAS-camera's in staat om beelden over lange afstanden en met hoge nauwkeurigheid te herkennen.

Day zei dat de eerste interesse in de automarkt ligt, aangezien dit segment goed is voor ongeveer 20% van Ambarella's business.

Het lage stroomverbruik van de CV5 SoC maakt hem ook geschikt voor de volgende generatie camera's met hoge resolutie en actie met hoge framesnelheid, 360° en virtual reality (VR), en biedt 8K-opname en -weergave in ontwerpen met een zeer kleine vormfactor. Het heeft met name ook functies zoals on-chip beeldstabilisatie en stitching die geschikt zijn voor VR-camera's.

In robot- en drone-toepassingen kan CV5's CVflow AI-engine gelijktijdige lokalisatie en mapping (SLAM), padplanning en obstakeldetectie en vermijdingsalgoritmen voor navigatie en autonome werking versnellen. Voor op drones gebaseerde luchtvideografie en cinematografie kan CV5 gelijktijdig vluchtcontrole- en navigatiefuncties uitvoeren en video-opnamen met een resolutie tot 8K opnemen met 60 frames per seconde.

Day merkte op dat er twee gebieden in de dronemarkt zijn waar de CV5 bijzonder goed voor is:de ene is in het verbeteren van videografie, maar de andere is in het toevoegen van computervisie en AI voor zaken als objectdetectie.

Voor alle verschillende toepassingen zei Day dat het belangrijkste voordeel van de CV5 de mogelijkheid is om 8K-opnames toe te voegen aan alle markten. Hij zei ook dat dit de eerste keer is dat het bedrijf de PCIe-interface op de chip heeft opgenomen, waardoor connectiviteitsopties worden geopend. Hoewel de focus in eerste instantie ligt op auto's, sportcamera's, drones en VR-camera's, verwacht hij later dit jaar versies van CV5 voor beveiliging en bewaking te hebben

De nieuwe SoC deelt gemeenschappelijke SDK- en computer vision (CV)-tools met Ambarella's andere CVflow SoC-families, waardoor de ontwikkeling van camera's met meerdere prijs- en prestatie-opties wordt vereenvoudigd. Een complete set CV-tools helpt klanten hun eigen neurale netwerken over te zetten naar CV5, inclusief een compiler, debugger en ondersteuning voor industriestandaard machine learning-frameworks, zoals PyTorch, ONNX, Caffe en TensorFlow, evenals uitgebreide richtlijnen voor convolutionele neurale netwerk (CNN) prestatie-optimalisatie.

De belangrijkste kenmerken van de CV5 SoC zijn:

• CVflow-architectuur met DNN-ondersteuning
• Dual-core Arm Cortex-A76 tot 1,6 GHz met NEON DSP-uitbreidingen en FPU
• Hoge snelheid SLVS-EC, MIPI-CSI (C/D PHY) interfaces, voor het aansluiten van maximaal 14 camera's
• Multi-channel ISP met tot 8KP60 doorvoer
• Native ondersteuning voor RGGB-, RCCB-, RCCC-, RGB-IR- en monochrome sensorformaten
• Verwerking van meerdere belichtingen met hoog dynamisch bereik (HDR)
• Realtime, hardware-versnelde visoogcorrectie en lensvervormingscorrectie (LDC)
• AVC- en HEVC-codering met tot 8KP60 doorvoer en ondersteuning voor meerdere streams
• Uitgebreide set interfaces inclusief 4-lane PCIe, CAN FD, Gigabit Ethernet, USB 3.1 host en apparaat, drie SD-kaartcontrollers, MIPI DSI/CSI-2 en HDMI-video-uitgangen
• LPDDR4x / LPDDR5 / LPDDR5x-ondersteuning, 64-bits databus en tot 32 GB capaciteit
• Beveiligingsfuncties, waaronder veilig opstarten met TrustZone en beveiligd geheugen, TRNG, OTP, DRAM-scrambling en virtualisatie
• 5 nm-procestechnologie
• 16×16 FBGA-pakket met 0,5 mm kogelafstand