Arm biedt neurale verwerkings-IP voor applicatieprocessors

Arm heeft een nieuwe versie van zijn microNPU (neural processing unit) IP gemaakt die geschikt is voor gebruik naast Cortex-A CPU-kernen in applicatieprocessors. Hoofdlicentiehouder NXP is van plan dit IP-adres te gebruiken in een opkomende familie van applicatieprocessors die AI-applicaties aankunnen, zoals pose-inschatting, meervoudige gezichtsherkenning en objectdetectie in video's, en spraakherkenning die verder gaat dan het spotten van trefwoorden.

Ethos-U65

Het bestaande microNPU-product van Arm, de Ethos-U55, gelanceerd in februari 2020, is gericht op producten van microcontrollerklasse naast Cortex-M-kernen. Het biedt tot 0,5 TOPS aan acceleratie (gebaseerd op kleinere geometrieën zoals 16 of 7 nm, draaiend op 1 GHz), met tussen de 3 en 256 multi-accumulate units (MAC's). Arm's portfolio heeft ook de Ethos-N77, N57 en N37 die respectievelijk 4, 2 en 1 TOPS bieden.

De Ethos-U65 is ontworpen om de energie-efficiëntie van de Ethos-U55 te behouden en tegelijkertijd de beschikbare MAC's te verdubbelen - tot 512 parallelle MAC's op 1GHz - voor een totaal van 1 TOPS. Deze combinatie van kracht en prestaties is specifiek bedoeld voor gebruik naast Cortex-A-kernen in apparaten van toepassingsprocessorklasse. Volgens Arm is de native ondersteuning van de Ethos-U-lijn voor ML-operators ook bijgewerkt en uitgebreid.

Hoofdlicentiehouder

Hoofdtechnologiepartner (en hoofdlicentiehouder) NXP werkte nauw samen met Arm aan de bepalende aspecten op systeemniveau van de Ethos-U65 en heeft gezegd dat het de Ethos-U65 IP zal integreren in zijn volgende generatie i.MX-toepassingsprocessors.

De architectuur die NXP heeft bedacht voor een applicatieprocessor met een microNPU gebruikt zowel Cortex-A- als Cortex-M-kernen (Afbeelding:NXP)

De architectuur die NXP in gedachten heeft voor een AI-applicatieprocessor zou de Ethos-U65 microNPU naast Cortex-M- en Cortex-A-kernen zien zitten, legt Ben Eckermann, hoofdingenieur van AI/ML Hardware, NXP uit. De Cortex-A voert de applicatie uit, behandelt stuurprogramma's voor (bijvoorbeeld) een microfoon of camera en presenteert een werkbelasting aan de NPU. De microNPU en de Cortex-M berekenen de machine learning-werklast en presenteren het antwoord aan de Cortex-A.

"Net als een Ethos-U55, vertrouwt [de Ethos-U65] erop dat een Cortex-M-processor ergens in de buurt van het systeem is, voor het geval er machine learning-operators van het neurale netwerk zijn die geen zin hebben om volledig te worden ontlast in hardware', zei Eckermann. "Er zijn veel machine learning-operators die zelden worden gebeld en die misschien niet rechtvaardigen dat ze puur in hardware worden geïmplementeerd."

De flexibiliteit die de Cortex-M in deze configuratie biedt, maakt ook een zekere mate van toekomstbestendigheid mogelijk, zei Eckermann.

De U65 heeft bredere interne systeembussen gekregen dan de U55 en is op maat gemaakt om de extra buffering en latentie van DRAM aan te kunnen (gebruikelijk in systemen die applicatieprocessors gebruiken, terwijl Cortex-M-systemen doorgaans SRAM gebruiken).

De portfolio vullen

NXP vult zijn portfolio van AI-enabled SoC's aan.

De eerder aangekondigde i.MX 8M+ applicatieprocessors van het bedrijf hebben een NPU AI-versnellerblok naast dubbele of quad Cortex-A53-kernen. Het NPU IP-adres in deze producten is niet van Arm. Het is een Verisilicon-ontwerp dat 2,3 TOPS biedt, genoeg voor scènesegmentatie, live video-gezichts- en objectherkenning of interpretatie van spraakaccenten. Aan de onderkant van het spectrum kunnen de microcontrollers van NXP met Arm Ethos-U55 NPU's persoonsdetectie, wake-word-detectie en video-ruisonderdrukking aan.

Ethos-U65-compatibele producten zullen tussen deze twee productcategorieën in zitten en AI-toepassingen zoals multi-gezichtsherkenning, meer betrokken spraakherkenning of pose-inschatting afhandelen. Nieuwe producten in deze categorie zullen daarom niet overlappen met de i.MX 8M+, zei Eckermann.

De hoeveelheid rekenkracht die nodig is voor verschillende AI-toepassingen (x-as) en de bijbehorende NPU (Afbeelding:NXP)

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times.