AI-chip ondersteunt inferentie in ultra-low-power apparaten

LONDEN - De volgende generatie van GreenWaves' ultra-low power AI-versneller, GAP9, zal vijf keer minder stroom verbruiken dan zijn voorganger, GAP8, terwijl hij 10x grotere algoritmen hanteert. Het nieuwe apparaat biedt tot 50 GOPS bij een totaal stroomverbruik van 50mW. Dit is te danken aan een combinatie van architecturale verbeteringen en een nieuwe state-of-the-art FD-SOI (volledig uitgeputte silicium op isolator) procestechnologie.

Net als het apparaat van de vorige generatie is GAP9 gericht op AI-inferentie in systemen aan de rand van het netwerk, zoals kleine, op batterijen werkende IoT-sensornodes. De cijfers van GreenWaves hebben bijvoorbeeld GAP9 met MobileNet V1 op 160 x 160 afbeeldingen met een kanaalschaal van 0,25 in slechts 12 ms met een stroomverbruik van 806 μW/frame/seconde.

GreenWaves, gevestigd in Grenoble, Frankrijk, heeft gekozen voor het 22nm FDX FD-SOI-proces van GlobalFoundries om het stroomverbruik te minimaliseren van wat al een architectuur met ultralaag stroomverbruik was.

"Voor GAP9 hebben we de GAP8-architectuur afgestemd met behulp van feedback van klanten op GAP8, maar tegelijkertijd zijn we overgestapt op een marktleidend halfgeleiderproces", zegt Martin Croome, vice-president marketing bij GreenWaves. "We gebruiken het vermogen om het lichaam te beïnvloeden in FD-SOI om ons in staat te stellen een nog lager energieverbruik te bereiken."

Architecturale verbeteringen

GreenWaves heeft verschillende architecturale verbeteringen doorgevoerd voor GAP9.

Er is nog een RISC-V-kern toegevoegd, waardoor het totaal op 10 komt. Eén kern wordt gebruikt als een fabric-controller en voor lage intensiteitscomputing in bepaalde modi. De andere negen vormen een rekencluster met een gedeeld L1-gegevensgebied. Eén kern in dit cluster (de nieuwe) wordt gebruikt als taakgroepmaster, het berekenen van geheugenbewegingen en het beheren van taken op de andere acht kernen.

Het interne RAM-geheugen is verdrievoudigd tot 1,6 MB en de geheugenbandbreedte is verhoogd tot 41,6 GB/sec voor L1 en 7,2 GB/s voor L2.

"Deze [geheugenbandbreedte] is nu erg belangrijk voor een apparaat van MCU-klasse", zei Croome.

De architectuur van de GAP9 ultra-low power AI-chip van GreenWaves gebruikt nu 10 RISC-V-cores (Afbeelding:GreenWaves)

Wijzigingen in de GAP9-architectuur omvatten ook een veel hogere topfrequentie; GAP8 geklokt op 175MHz, GAP9 zal draaien op of dichtbij 400MHz. Er zijn ook nieuwe energiestatussen toegevoegd, waaronder een "dozy" -status wanneer gegevens kunnen worden verkregen maar het stroomverbruik nog steeds onder de 1 mW ligt. In deze toestand kan de processor draaien op een low dropout regulator (LDO) die snel kan opstarten. Dit brengt de tijd van GAP9 tot de eerste instructie terug tot slechts een paar microseconden (GAP8 duurde ongeveer 700 µs terwijl het wachtte tot de DC-DC-converter zich stabiliseerde, zei Croome). Deze snelle opstartmogelijkheid is handig bij het vastleggen van op tijd gebaseerde signalen zoals spraak.

Alle tien cores zijn nu in staat om 'transprecision' floating point getallen te verwerken:IEEE-formaat 16 en 32-bit floating point plus extra 8 en 16-bit formaten met ondersteuning voor vectorisatie. Deze mogelijkheid kan worden gebruikt om de energiebehoefte te verlagen voor algoritmen die drijvende-komma nodig hebben. GAP9 ondersteunt ook gevectoriseerde 4-bits en 2-bits bewerkingen voor toepassingen die gebruikmaken van diepe kwantiseringsniveaus.

Andere nieuwe functies zijn onder meer bidirectionele meerkanaals audio-interfaces.

GAP9 zal naar verwachting in 2021 massaproductie bereiken, met monsters in de eerste helft van 2020. Croome zei dat de prijsstelling naar verwachting 50% hoger zal zijn in vergelijking met GAP8. Gezien de verschillende timing, krachtcijfers en prijs, verwacht het bedrijf dat beide producten in de toekomst markten zullen vinden.